Robots.txt для гугла

12
Александр
На сайте с 17.07.2009
Offline
369
982

Привет уважаемые коллеги!

Помогите разобраться с вопросом нужности директив в файле роботс.тхт

Я был уверен, что гугл его игнорит и рекомендует для запрета использовать тег, и это написано чёрным по белому:

Заблокировано в файле robots.txt. Директива в файле robots.txt запрещает роботу Googlebot доступ к странице. Проверить это можно с помощью инструмента проверки файла robots.txt. Обратите внимание, что страница все равно может быть проиндексирована другими способами. Это может произойти, если Google в состоянии отыскать информацию о странице, не загружая ее (такое случается нечасто). Чтобы страница не индексировалась, удалите блокировку в файле robots.txt и используйте директиву noindex.

Меня тут ткнули носом и я призадумался.

Если рассудить логически, то для просмотра тега боту нужно зайти на страницу, а значит расходуется ботовский бюджет.

Понятно, что часть ссылок можно безболезненно удалить, но есть такие которые важны для юзабилити и бесполезны для ботов. Как пример. всякие страницы ответа на комменты и им подобным

Как быть? Может есть кейсы по этому вопросу?

Сайты на WordPress тут просто летают! (https://vk.cc/atAGUU)
T
На сайте с 24.09.2014
Offline
91
#1


Если рассудить логически, то для просмотра тега боту нужно зайти на страницу, а значит расходуется ботовский бюджет.

По опыту, страницы noindex индексируются очень редко, поэтому они хоть и используют бюджет, но незначительно. К примеру, у меня пагинация закрыта noindex, робот видит полноту категории, сканирует ее и учитывает. Обычные страницы посещает ежедневно, там где noindex - 1 раз в 6-20 дней. Если закрыть роботом, то полноту категории робот не увидит.

РКН: консультации, помощь с разблокированием, работа с конкурентами.
Александр
На сайте с 17.07.2009
Offline
369
#2
tylatong:
По опыту, страницы noindex индексируются очень редко, поэтому они хоть и используют бюджет, но незначительно. К примеру, у меня пагинация закрыта noindex, робот видит полноту категории, сканирует ее и учитывает. Обычные страницы посещает ежедневно, там где noindex - 1 раз в 6-20 дней. Если закрыть роботом, то полноту категории робот не увидит.

А как быть с коментами. т.е. есть страница (site.ru/page) на ней 50 коменнтов, и у каждого ссылка "Ответить на этот коммент" (site.ru/page/comment1, site.ru/page/comment2 и т.д). Есть смысл закрывать в роботсе /comment* или использовать теги?

K
На сайте с 06.05.2010
Offline
101
#3
aleksandrbol:
А как быть с коментами. т.е. есть страница (site.ru/page) на ней 50 коменнтов, и у каждого ссылка "Ответить на этот коммент" (site.ru/page/comment1, site.ru/page/comment2 и т.д). Есть смысл закрывать в роботсе /comment* или использовать теги?

Для упомянутой выше полноты картины сайта ссылка "ответить на коммент" не важна. лично я такое закрываю в robots.txt, наряду со страницами поиска и прочим

T
На сайте с 24.09.2014
Offline
91
#4
aleksandrbol:
А как быть с коментами. т.е. есть страница (site.ru/page) на ней 50 коменнтов, и у каждого ссылка "Ответить на этот коммент" (site.ru/page/comment1, site.ru/page/comment2 и т.д). Есть смысл закрывать в роботсе /comment* или использовать теги?

страницы комментов - однозначно закрываю в роботах , т. к они не несут вообще никакой ценности

Александр
На сайте с 17.07.2009
Offline
369
#5
tylatong:
страницы комментов - однозначно закрываю в роботах , т. к они не несут вообще никакой ценности

так гугл ругается, говорит открой, ведь я всё равно проиндексировал. Рекомендует использовать тег, а не файл.

K
На сайте с 06.05.2010
Offline
101
#6
aleksandrbol:
так гугл ругается, говорит открой, ведь я всё равно проиндексировал. Рекомендует использовать тег, а не файл.

Видимо, вы закрыли эти страницы в роботс уже после индексации. На форумах гугла говорят, что ничего страшного в "Indexed, though blocked by robots.txt" нет - это стандартное предупреждение, чтобы вы проверили, не случайно ли страница оказалась закрытой в роботс.

I
На сайте с 24.01.2018
Offline
84
#7
aleksandrbol:
так гугл ругается, говорит открой, ведь я всё равно проиндексировал. Рекомендует использовать тег, а не файл.

А почему бы не использовать и то, и другое одновременно?

Александр
На сайте с 17.07.2009
Offline
369
#8
imasiter:
А почему бы не использовать и то, и другое одновременно?

Вроде как одновременно не выйдет. Т.е. если гугл проиндексирует страницу, а потом её закрыть в роботс, то она будет болтаться как г, в проруби.

---------- Добавлено 16.02.2020 в 20:45 ----------

Kenji:
Видимо, вы закрыли эти страницы в роботс уже после индексации. На форумах гугла говорят, что ничего страшного в "Indexed, though blocked by robots.txt" нет - это стандартное предупреждение, чтобы вы проверили, не случайно ли страница оказалась закрытой в роботс.

именно так и было.

Ivan Glukhov
На сайте с 05.11.2019
Offline
25
#9

открыть в роботсе, он их проиндексирует с ноуиндекс, затем закрыть в роботсе.

Пишу о Яндекс.Директе и маркетинге - не вода (https://xn----8sbbfdb7cdxe8cya.xn--p1ai/)
Александр
На сайте с 17.07.2009
Offline
369
#10
Ivan Glukhov:
открыть в роботсе, он их проиндексирует с ноуиндекс, затем закрыть в роботсе.

Потом он опять их заново проиндексирует. Было уже такое. Но за совет спасибо.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий