Как происходит закрывание комментариев в robots.txt от поисковых систем?

А по onLoad ...подлый гугл уже выполняет?

---------- Добавлено 09.11.2019 в 18:06 ----------

Не Disallow: /comment

а Disallow: /[путь-к-вашему-JS,рисовавшему-контент-комента]

РазделяЛОся — то, что бот еЛ / чего не выполняЛ... в одном документе.

если скрипт не закрыт в роботсе, то в принципе может и выполнить, а если закрыт, то в вебмастере будут предупреждения и придётся объяснять ещё и про это :D

а так вряд ли даже будет пытаться что-то выполнять/анализировать, тем более там нет url для загрузки

Хорошая идея, кстати... Может так же сделать, а не по клику "смотреть всё"... :)

ziliboba0213, вопрос в целях, если идёт подгрузка контента с другого url, то такое всё равно спалиться, немного другой службой (проверка на вирусы), будут ли переданы эти данные в службу поиска, по мне так вряд ли

но что точно если js не закрыт в роботсе, то контент по любому url, который в нём указан будет точно проанализирован

Не, мне просто идея понравилась :) У меня по 10 выводится последних, а потом по кнопке ajax-ом :)

тогда особого смысла нет

Не, просто чтобы листали комменты, так красивше просто :p

Не, не Disallow: /comment из robots.txt вполне работает, хотя таких отельных страниц нету, но я так понял он блокирует их исходя из так называемых якорных ссылок сайт/пост/#comment-525233 – по которым можно быстро перейти к комментарию, хотя все равно странно открыв прямую ссылку поста и посмотрев исходный код в этом документе присутствуют комментарии. Наверное, я этого никогда не пойму :-)

---------- Добавлено 09.11.2019 в 23:29 ----------

miketomlin, LEOnidUKG,

Комментарии мягко говоря не очень, хотя встречаются и полезные как даже я бы сказал дополнение к статье, но их очень мало, в основном – спасибо/что за … ты написал :) коротенькие. Антиспам, постмодерация присутствует без этого ваще жесть там происходит.

---------- Добавлено 09.11.2019 в 23:29 ----------

Интересно топовые сайты запрещают индексацию комментариев типа youtube и.т.п. (Вроде никогда не попадал из поисковика на youtube комментарий, но это не точно.)

Ещё интересно где комментарии сделаны хорошо, вот мне нравится, как у pikabu сделаны, не знаю почему, интересно они их закрывают, там бреда и откровенной фигни мега горы.

Скорее всего вы не понимаете, чего вам тут наобъясняли.

Может про robots.txt почитаете

Индексируются документы,

а якоря типа #comment-525233 по HTTP не передаются ... и такие ссылки не индексируются, т.е. запрещать их нет смысла, да и не получилось бы в robots.txt

хотя JS их разбирать может.

Как выше написали, к содержимому комментов это не относится (конечно, при условии, что у вас комменты не располагаются отдельно в ветке /comment). Это делается, чтобы ПС «поменьше обращали внимание» на эту ветку (вдруг у вас там когда-нибудь появятся страницы-прокладки, отдельные комменты, полный список комментов и т.п.).

Я про премодерацию писал и «шашкомахание» (удаление всякой лабуды без зазрения совести еще до отображения). Модерирую/редактирую пользовательский контент таким образом на неск. сайтах. Если контент малополезный, подумайте о его отделении (так проще закрыть от поисковиков, но и пользователям тоже будет сложнее до него добраться при просмотре материалов) или даже полном удалении/отключении комментирования. Спасибки – это в общем хорошо, если в комментах не только они. Более-менее вменяемая критика тоже, есть у вас есть возможность на нее реагировать в тех же комментах. Я, например, иногда даже материалы правлю, когда мне как их автору приходят норм. критические комменты, ЛС и т.п.

Поменьше обращайте внимание на таких монстров, как ютьюб.