Файл robots.txt

Источник Robots.txt: на сайте http://areaofloves.com/robots.txt на момент обработки проекта.

User-agent: *
Crawl-delay: 20