Надо учесть, что если на сайте есть страницы с НУЖНЫМИ в индексе get - то robots.txt ни с коем случае использовать нельзя.
Спасибо!
Спасибо, что обратили внимание. Интересно, что этого <script/> в сайтмапе нет, показывает только в одном браузере, и даже в нем в режиме инкогнито его нет.
А это что по вашему?
Disallow: */site
Эта запись ограничивает попадание хвостов в индекс, чтобы не попадали дубли страниц в индекс
Связано именно с тем, что вам явно в кавычках указано.
Так нет запрета на сайтмап.
User-agent: Yandex
Disallow: /*?
Allow: /*?p=
Disallow: /post/search*
Disallow: /admin*
Disallow: /auth*
Disallow: /spb/auth*
Disallow: /user*
Disallow: /post/gallery
Disallow: /post/yandex/getMapMarkAll
Disallow: /post/getSchedule*
Disallow: /post/*/singleInfo*
User-agent: Googlebot
User-agent: *
Disallow: /club/search/
Sitemap: https://www.названиесайта.ru/xml/sitemap