SaraS

Рейтинг
19
Регистрация
07.10.2023
Добрый день! Подскажите, пожалуйста, как сейчас обстоят дела с маркировкой ссылок? Какие маркируются, какие нет? 
Kaavain #:

Надо учесть, что если на сайте есть страницы с НУЖНЫМИ в индексе get - то robots.txt ни с коем случае использовать нельзя. 

Спасибо!

LEOnidUKG,  Антоний Казанский,  Biomusor, спасибо большое!
Спасибо!
chinafull #:
<script/> - это лишнее в вашем sitemap-е.

Спасибо, что обратили внимание. Интересно, что этого  <script/> в сайтмапе нет, показывает только в одном браузере, и даже в нем в режиме инкогнито его нет. 

Доброго дня! Какое-то здесь возможно корректное решение без исключения "Disallow: */site" (это правило пока невозможно убрать)?
Антоний Казанский, TonyBlackberry, спасибо! 
TonyBlackberry #:

А это что по вашему? 

Disallow: */site

Эта запись ограничивает попадание хвостов в индекс, чтобы не попадали дубли страниц в индекс

Антоний Казанский #:

Связано именно с тем, что вам явно в кавычках указано.

Так нет запрета на сайтмап.

User-agent: Yandex

Disallow: /*?

Allow: /*?p=

Disallow: /post/search*

Disallow: /admin*

Disallow: /auth*

Disallow: /spb/auth*

Disallow: /user*

Disallow: /post/gallery

Disallow: /post/yandex/getMapMarkAll

Disallow: /post/getSchedule*

Disallow: /post/*/singleInfo*

Disallow: */site

 

User-agent: Googlebot

Disallow: /*?

Allow: /*?p=

Disallow: /post/search*

Disallow: /admin*

Disallow: /auth*

Disallow: /spb/auth*

Disallow: /user*

Disallow: /post/gallery

Disallow: /post/yandex/getMapMarkAll

Disallow: /post/*/singleInfo*

Disallow: /post/getSchedule*

Disallow: */site

 

User-agent: *

Disallow: /*?

Allow: /*?p=

Disallow: /post/search*

Disallow: /admin*

Disallow: /auth*

Disallow: /spb/auth*

Disallow: /user*

Disallow: /post/gallery

Disallow: /club/search/

Disallow: /post/yandex/getMapMarkAll

Disallow: /post/*/singleInfo*

Disallow: /post/getSchedule*

Disallow: */site

 

Sitemap: https://www.названиесайта.ru/xml/sitemap

12
Всего: 16