Файл robots.txt

Источник Robots.txt: на сайте http://bitly.com/robots.txt на момент обработки проекта.

# Welcome to Bitly =)
# robots welcome;
# API documentation can be found at https://dev.bitly.com/
User-Agent: *
Disallow: