Файл robots.txt

Источник Robots.txt: на сайте http://saitreport.ru/robots.txt
Содержимое:

User-Agent: *
Disallow: /*?id*
Disallow: /*delete*
Disallow: /*?register*
Disallow: /*get_semantic&id*
Disallow: /class/crypt/
Disallow: /pdf_report_adds/
Disallow: /text_report/
Disallow: /*shw*
Disallow: /*analyze_url*
Disallow: /*?pcode*

Sitemap: https://saitreport.ru/sitemap.xml
Sitemap: https://saitreport.ru/sitemaps/sitemap_saitreport_index_pdf.xml

User-Agent: Yandex
Disallow: /*?id*
Disallow: /*delete*
Disallow: /*?register*
Disallow: /*get_semantic&id*
Disallow: /class/crypt/
Disallow: /pdf_report_adds/
Disallow: /text_report/
Disallow: /*?pcode*
Host: https://saitreport.ru

Sitemap: https://saitreport.ru/sitemap.xml
Sitemap: https://saitreport.ru/sitemaps/sitemap_saitreport_index_pdf.xml

Clean-param: shw&analyze_url /*