Все вопросы по robots.txt - 2

GG
На сайте с 23.10.2019
Offline
10
#361
Brat_Sergij #:

Надо попробовать... Главное, чтоб никого лишнего не зацепило  )

Нормальный человек с таких юзер-агентов не заходит :)

R
На сайте с 07.12.2020
Offline
1
#362
Все привет. Ребята, прошу строго не судить, я новичок. 
В общем, создал robots.txt и указал путь к sitemap.xml, но в результатах анализа выдает ошибку "Обнаружена неизвестная директива" хоть и путь к сайтмапу идет правильно ( https://тут_мой_сайт/sitemap.xml ) но Яндекс всё равно ругается.

  sitemap.xml создавал через плагин google XML sitemap. Sitemap который создает сам WordPress отключил

Буду благодарен, если кто-то из знатаков подскажет 
png screenshot-webmaster.yandex.ru-2020.12.21-12_14_13__47006599.png
Brat_Sergij
На сайте с 26.11.2015
Offline
338
#363
Runli #:
Все привет. Ребята, прошу строго не судить, я новичок. 
В общем, создал robots.txt и указал путь к sitemap.xml, но в результатах анализа выдает ошибку "Обнаружена неизвестная директива" хоть и путь к сайтмапу идет правильно ( https://тут_мой_сайт/sitemap.xml ) но Яндекс всё равно ругается.

  sitemap.xml создавал через плагин google XML sitemap. Sitemap который создает сам WordPress отключил

Буду благодарен, если кто-то из знатаков подскажет 

Так вы запись покажите как вы указали в роботсе, в этом всё и дело. Гадать что там не так можно бесконечно, начиная от лишних пробелов до русских букв в имени домена 

NW
На сайте с 30.12.2020
Offline
1
#364

Здравствуйте! Подкажите пожалуйста правильно я сосдал файл robots.txt на сайте  https://www.onlinza.com ?

Читал много мнений что не нужно вообще ничего закрывать, но прислухался к другой половине и все таки закрыл часть😎

Интерестно не перестарался ли я))

Прошу строго не судить😀

isa0962
На сайте с 11.08.2016
Offline
51
#365
Как запретит только главную страницу сайта, это реализуемо?
seoxi
На сайте с 12.02.2021
Offline
0
#366
isa0962 #:
Как запретит только главную страницу сайта, это реализуемо?

Disallow: /$

seoxi
На сайте с 12.02.2021
Offline
0
#367
Runli #:
Все привет. Ребята, прошу строго не судить, я новичок. 
В общем, создал robots.txt и указал путь к sitemap.xml, но в результатах анализа выдает ошибку "Обнаружена неизвестная директива" хоть и путь к сайтмапу идет правильно ( https://тут_мой_сайт/sitemap.xml ) но Яндекс всё равно ругается.

  sitemap.xml создавал через плагин google XML sitemap. Sitemap который создает сам WordPress отключил

Буду благодарен, если кто-то из знатаков подскажет 

Покажите саму директиву "Sitemap:" (как все это выглядит у вас в роботс)

F9
На сайте с 18.03.2021
Offline
1
#368
isa0962 #:
Как запретит только главную страницу сайта, это реализуемо?

Да. В инструкции эта инфа есть

MS
На сайте с 20.02.2012
Offline
94
#369

Нужно ли закрывать от индексации страницы каталога на сайте? То есть страницы вида:

/news/hot/page2
/news/hot/page3
/news/hot/page4

которые содержат списки статей (новостей), разбитых на страницы.

А то Яндекс в Вебмастере недавно начал ругаться, что на таких страницах одинаковый title и description. Вот думаю, закрыть их совсем в robots.txt или добавить к ним добавку  вида: "Свежие новости. Страница 1",  "Свежие новости. Страница 2"..

Поделитесь опытом, что лучше?

Brat_Sergij
На сайте с 26.11.2015
Offline
338
#370
MisterStart #:

Нужно ли закрывать от индексации страницы каталога на сайте? То есть страницы вида:

/news/hot/page2
/news/hot/page3
/news/hot/page4

которые содержат списки статей (новостей), разбитых на страницы.

А то Яндекс в Вебмастере недавно начал ругаться, что на таких страницах одинаковый title и description. Вот думаю, закрыть их совсем в robots.txt или добавить к ним добавку  вида: "Свежие новости. Страница 1",  "Свежие новости. Страница 2"..

Поделитесь опытом, что лучше?

Запомните, идеальный robots для гугла выглядит таким образом:

User-agent: *

Всё, ничего большего! Об этом не раз говорил Мюллер: не надо закрывать страницы в роботсе, просто делайте их noindex. Робот должен перейти на страницу, чтобы понять что за она и прочитать директивы в ней.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий