Файл robots.txt

Источник Robots.txt: на сайте http://ragigar.biz/robots.txt
Содержимое:

User-agent: *
Disallow: /api/
Disallow: /bo/
Disallow: /editor.jsp
Disallow: /noflashhtml
Disallow: /siteBackHtml
Disallow: /wix/
Disallow: /wixpress/
Disallow: /wixdemo/
Disallow: /wix-editor/
Disallow: /editor2.jsp
Disallow: /flash/
Disallow: /flash-templates/
Disallow: /jobs/seo/
Disallow: /website-template/view/flash/
Disallow: /facebook-template/
Disallow: /facebook/templates/
Disallow: /website/templates/flash/
Disallow: /favicon.ico

Sitemap: https://www.ragigar.biz/sitemap.xml