Файл robots.txt

Источник Robots.txt: на сайте http://1c-bitrix.ru/robots.txt на момент обработки проекта.