это будут единичные заходы. а так на 99.99% гугл яндекс и бинг будут следовать указаниям и не пойдут по таким разделам.
ходить будут всякие другие бешенные ИИ и говноботы.
Будут. Тебе это простительно не знать, ты не сеошник, но вот сеошники тут местные - они то должны знать, что бот всё равно будет ходить в этом случае.
В гугле даже есть специальный пункт, который называется "проиндексировано несмотря на блокировку в файле robots.txt"
Вот расскажите, сеошники, как может робот не ходить на эти страницы, при этом индексировать их?
Можете попробовать на таких страницах прописать:
Но при этом надо их открыть в robots.txt чтобы робот увидел, что не надо ничего там сканировать и ходить там по ссылкам.
Убрать в 404 от роботов это не панацея т.к. они будут ходить по ссылкам и кричать, что у вас теперь много 404 ошибок, а это ещё хуже.
Ну так он хочет, чтобы робот их вообще не дёргал, как я понял.
Робот их будет в любом случае дёргать, даже если запретить во всех местах.
А если я не понял, то вообще проблема не является проблемой.
Да, скорее всего проблема не решаема на данный момент, с платонами устал уже переписываться, горбатого лепят двадцать писем подряд. Раньше, 10-15 лет назад было просто - прописал в роботсе запрет и всё, бот даже не пытался сканировать.
Думаю, проблема таки является проблемой: с тех пор как поисковики начали пытаться сканировать десятки тысяч этого мусора - рост сайта в обоих поисковых остановился. Совпадение ? Не думаю.
нужно очень внимательно прочитать https://developers.google.com/search/docs/appearance/site-names?hl=ru
и посмотреть откуда формируется. Так же я бы рекомендовал сделать название сайта просто с заглавной буквы и добавить одно слово небольшое, Например Биржа Starvell
Конечно не нашли, эту ссылку просто скрыли для класса text_finder. Его можно назвать хоть class='hitro_skril_dlya_durakov', и для этого класса установить display:none любым способом =)))
так а гугл и яндекс "понимают" что ссылка стоит в нодиспей, или не "понимают"? В этом же и заключается суть моего вопроса
тут вопрос как он этого до сих пор не сделал? пусть генерят кодеры это их работа
Можно подробнее? Прогер должен написать что то для генерации карты? Сайт сделан на самописном движке, вроде.