Все вопросы по robots.txt - 2

Vladimir SEO
На сайте с 19.10.2011
Offline
1739
#71

все не так - пропишите для юзера яндекса дисалов тест

Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
kazakdona
На сайте с 05.03.2007
Offline
128
#72

Спасибо уже понял что именно для яндекса надо еще прописать, буквально недавно яндекс и общего юзера понимал User-agent: *

Казачий стан - все о казачестве. ( https://kazakdona.ru )
SmileP
На сайте с 18.02.2010
Offline
386
#73
kazakdona:
а гугл пишет что все закрыто, что не так в моем robots.txt ?

Потому что для него она указана.

А для Яндекс-а небыло похоже. Если указан User-agent: Yandex, то закрывающие/открывающие директивы будет брать только те, которые указаны для него.

---------- Добавлено 17.01.2018 в 13:57 ----------

kazakdona:
общего юзера понимал User-agent: *

Будет понимать, если его не указали в User-agent: Yandex

kazakdona
На сайте с 05.03.2007
Offline
128
#74

ясно, это мой косяк я добавил

User-agent: Yandex

Clean-param: yclid

и все слетело, надо тогда все прописывать

[Удален]
#75

Мне вот интересно, а для яндекса этот роботс вообще работает? За исключением клианпарам, сайтмеп и хост?

Что-то мне подсказывает, что нет. И если я прав, то ржака, что никто не заметил.

S7
На сайте с 18.01.2018
Offline
1
#76

так обязательно прописывать в роботсе user-agent отдельно для гугла и яндекса? Или же можно отбомбить через "*"?

Заранее спасибо за ответ!

AJ
На сайте с 22.01.2018
Offline
1
#77

Необязательно. Если у вас нет правил, которые понимает только Яшка (например, клинпарам), то можно обойтись звездочкой.

---------- Добавлено 23.01.2018 в 06:26 ----------

semeta74:
так обязательно прописывать в роботсе user-agent отдельно для гугла и яндекса? Или же можно отбомбить через "*"?

Заранее спасибо за ответ!

Необязательно. Если у вас нет правил, которые понимает только Яшка (например, клинпарам), то можно обойтись звездочкой.

R
На сайте с 25.01.2018
Offline
12
#78

Если через ЛП платформу прописать только приветствие яндекс, будет какой то эффект?

ММ
На сайте с 05.07.2013
Offline
69
#79

Доброго времени суток форумчане.

Для сайта http://r-ford.ru файл robots.txt нужно настроить так, чтобы робот индексировал все страницы, кроме страниц по регионам - Спб, екатеринбург, Крым, Краснодарский край. При этом нужно, чтобы подкатегория Садовые качели для всех указанных регионов также индексировалась.

Согласно правилам прописываю:

User-agent: *

Disallow: /ekaterinburg/

Disallow: /krasnodarskiy-kray/

Disallow: /krym/

Allow: /peterburg/sadovye-kacheli/

Allow: /krasnodarskiy-kray/sadovye-kacheli/

Allow: /ekaterinburg/sadovye-kacheli/

Allow: /krym/sadovye-kacheli/

В итоге директива allow не срабатывает, и от индекса скрываются все регионы (то есть воспринимается только директива disallow). В чем может быть ошибка?

заранее спасибо за советы.

T
На сайте с 30.01.2018
Offline
0
#80

Протестили этим? https://support.google.com/webmasters/answer/6062598?hl=en

А еще читала что для большинства поисковых систем, то «Allow» должен быть первым.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий