Файл robots.txt

Источник Robots.txt: на сайте http://litmark.ru/robots.txt на момент обработки проекта.

User-agent: *
Disallow: /my/
Crawl-delay: 3
Sitemap: http://litmark.ru/sitemap.381453.xml.gz

User-Agent: Yandex
Allow: /
Disallow: /my/
Crawl-delay: 3
Host: litmark.ru
Sitemap: http://litmark.ru/sitemap.381453.xml.gz

User-agent: msnbot
Crawl-delay: 10

User-agent: MJ12bot
Crawl-delay: 20

User-agent: AhrefsBot
Disallow: /