User-agent: Yandex

AS
На сайте с 02.09.2021
Offline
1
900

Настраиваю robots. Некоторые страницы все равно были доступны для индексации. Связалась с поддержкой яндекса, получила такой ответ:

В вашем файле robots.txt присутствует директива User-agent: Yandex, а запрет указан для User-agent: *. Если в файле robots.txt обнаружена строка User-agent: Yandex, то строка User-agent: * не учитывается.

Как в таком случае правильно составлять роботс? Прописывать одно и то же и для User-agent: Yandex, и для User-agent: Google?

На всякий случай прикладываю свой роботс, может подскажете конкретно, как его подправить. 

Заранее спасибо.



User-agent: Yandex

Clean-param: items_per_page&sort_by&sort_order


User-agent: *

Disallow: /app/

Disallow: /store_closed.html

Disallow: /login

Disallow: /*features_hash=

Disallow: /index.php?dispatch=call_requests.request

Disallow: /index.php?dispatch=checkout.cart

Disallow: /index.php?dispatch=product_features.add_product

Disallow: /index.php?dispatch=products.newest&

Disallow: /index.php?dispatch=products.search

Disallow: /index.php?dispatch=products.quick_view

SeVlad
На сайте с 03.11.2008
Offline
1609
#1
AlexS444 :
Как в таком случае правильно составлять роботс?
Убрать нафик секцию

User-agent: Yandex


А вопросы по роботсу задавать в специальном топике https://searchengines.guru/ru/forum/974085
Все вопросы по robots.txt - 2 - Вопросы новичков в SEO - Практические вопросы оптимизации - Форум об интернет-маркетинге
Все вопросы по robots.txt - 2 - Вопросы новичков в SEO - Практические вопросы оптимизации - Форум об интернет-маркетинге
  • 2021.09.01
  • searchengines.guru
Конеш я не спорю, что нужно читать рекомендации яндекса и гугла, что нужно читать и разбираться...
Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
AS
На сайте с 02.09.2021
Offline
1
#2
SeVlad #:
Убрать нафик секцию

User-agent: Yandex


А вопросы по роботсу задавать в специальном топике https://searchengines.guru/ru/forum/974085

но эта секция специально была создана для  Clean-param: items_per_page&sort_by&sort_order

это же параметры только для яндекса 

SeVlad
На сайте с 03.11.2008
Offline
1609
#3
AlexS444 #:
но эта секция специально была создана для  Clean-param:
Эта секция не для Clean-param, а для ботов Яндекса.

Вот что  не понятно в

AlexS444 :
Если в файле robots.txt обнаружена строка User-agent: Yandex, то строка User-agent: * не учитывается.
?
AS
На сайте с 02.09.2021
Offline
1
#4
SeVlad #:
Эта секция не для Clean-param, а для ботов Яндекса.

Вот что  не понятно в

?

все понятно, поэтому и обращаюсь за помощью, как сделать так, чтоб учитывалось))
получается, я могу указать  Clean-param в  User-agent: * и она так же прекрасно будет работать? 

W1
На сайте с 22.01.2021
Offline
271
#5
Да просто повторите в секции User-agent: Yandex те же строки, что и в User-agent: *, и добавьте туда Clean-param.
Мой форум - https://webinfo.guru –Там я всегда на связи
AS
На сайте с 02.09.2021
Offline
1
#6
webinfo #:
Да просто повторите в секции User-agent: Yandex те же строки, что и в User-agent: *, и добавьте туда Clean-param.

спасибо!

SeVlad
На сайте с 03.11.2008
Offline
1609
#7
webinfo #:
Да просто повторите в секции User-agent: Yandex те же строки, что и в User-agent: *, и добавьте туда Clean-param.
А можно просто удалить секцию для яши, а Clean-param писать в глобальную.
W1
На сайте с 22.01.2021
Offline
271
#8
SeVlad #:
А можно просто удалить секцию для яши, а Clean-param писать в глобальную.

Гугл будет считать это ошибкой. Честно говоря, не знаю, какие будут последствия от этого - то ли просто проигнорирует, то ли запнётся и перестанет правильно отрабатывать. 

МА
На сайте с 02.11.2018
Offline
163
#9
webinfo #:

Гугл будет считать это ошибкой. Честно говоря, не знаю, какие будут последствия от этого - то ли просто проигнорирует, то ли запнётся и перестанет правильно отрабатывать. 

Да, в Гугле это будет ошибкой.


Но вроде как ни на что эта ошибка не влияет.

Nokia x71 (https://x71.ru/) - хороший смартфон, и отзывы интересные
SeVlad
На сайте с 03.11.2008
Offline
1609
#10
webinfo #:
Гугл будет считать это ошибкой. Честно говоря, не знаю, какие будут последствия от этого - то ли просто проигнорирует, то ли запнётся и перестанет правильно отрабатывать. 

Все боты читают роботс построчно. Если чего-то не понимают - просто игнорят и идут дальше.

Ну и не забываем, что роботс - не приказы, а рекомендации.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий