Файл robots.txt

Источник Robots.txt: на сайте http://miner-expert.ru/robots.txt на момент обработки проекта.

User-agent: *
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /download
Disallow: /system
Disallow: /-antminer-s9---16-5th-s/
Disallow: /asic-bitmain-antminer-l3-504mh-s/
Disallow: /ferma-na-baze-/
Disallow: /tel0%20800%20402%20011

User-agent: Yandex
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /download
Disallow: /system
Disallow: /-antminer-s9---16-5th-s/
Disallow: /asic-bitmain-antminer-l3-504mh-s/
Disallow: /ferma-na-baze-/
Disallow: /tel0%20800%20402%20011

Host: https://miner-expert.ru
Sitemap: https://miner-expert.ru/sitemap/sitemap.xml