Но при этом надо их открыть в robots.txt чтобы робот увидел, что не надо ничего там сканировать и ходить там по ссылкам.
Убрать в 404 от роботов это не панацея т.к. они будут ходить по ссылкам и кричать, что у вас теперь много 404 ошибок, а это ещё хуже.
Если я уберу из роботса запрет, бот ГАРАНТИРОВАННО будет обращаться к этим страницам. А мне как раз и нужно чтобы он к ним не обращался, не пытался их сканировать.
Ну так он хочет, чтобы робот их вообще не дёргал, как я понял.
Робот их будет в любом случае дёргать, даже если запретить во всех местах.
А если я не понял, то вообще проблема не является проблемой.
Да, скорее всего проблема не решаема на данный момент, с платонами устал уже переписываться, горбатого лепят двадцать писем подряд. Раньше, 10-15 лет назад было просто - прописал в роботсе запрет и всё, бот даже не пытался сканировать.
Думаю, проблема таки является проблемой: с тех пор как поисковики начали пытаться сканировать десятки тысяч этого мусора - рост сайта в обоих поисковых остановился. Совпадение ? Не думаю.
Стас Рахимов #: Ну и пусть сканирует, в чём проблема? Они же не попадают в поисковый индекс.
раньше за подобное - поисковики жёстко банили сайты, с формулировкой "Сайт создаёт излишнюю нагрузку на сервера поисковой системы". Сейчас поисковики не банят сайт, но и траста сайту подобная проблема явно не добавляет.
и посмотреть откуда формируется. Так же я бы рекомендовал сделать название сайта просто с заглавной буквы и добавить одно слово небольшое, Например Биржа Starvell
Прочитал месяц назад, внимательно, несколько раз. Все требования выполнил, разве что входящих ссылок с других сайтов с таким анкором нет наверное.
Проблема в том что все буквы в названии заглавные? Так назвния сайта заглавными встречаются нередко.
Конечно не нашли, эту ссылку просто скрыли для класса text_finder. Его можно назвать хоть class='hitro_skril_dlya_durakov', и для этого класса установить display:none любым способом =)))
так а гугл и яндекс "понимают" что ссылка стоит в нодиспей, или не "понимают"? В этом же и заключается суть моего вопроса
304
это будут единичные заходы. а так на 99.99% гугл яндекс и бинг будут следовать указаниям и не пойдут по таким разделам.
ходить будут всякие другие бешенные ИИ и говноботы.
Будут. Тебе это простительно не знать, ты не сеошник, но вот сеошники тут местные - они то должны знать, что бот всё равно будет ходить в этом случае.
В гугле даже есть специальный пункт, который называется "проиндексировано несмотря на блокировку в файле robots.txt"
Вот расскажите, сеошники, как может робот не ходить на эти страницы, при этом индексировать их?
Можете попробовать на таких страницах прописать:
Но при этом надо их открыть в robots.txt чтобы робот увидел, что не надо ничего там сканировать и ходить там по ссылкам.
Убрать в 404 от роботов это не панацея т.к. они будут ходить по ссылкам и кричать, что у вас теперь много 404 ошибок, а это ещё хуже.
Ну так он хочет, чтобы робот их вообще не дёргал, как я понял.
Робот их будет в любом случае дёргать, даже если запретить во всех местах.
А если я не понял, то вообще проблема не является проблемой.
Да, скорее всего проблема не решаема на данный момент, с платонами устал уже переписываться, горбатого лепят двадцать писем подряд. Раньше, 10-15 лет назад было просто - прописал в роботсе запрет и всё, бот даже не пытался сканировать.
Думаю, проблема таки является проблемой: с тех пор как поисковики начали пытаться сканировать десятки тысяч этого мусора - рост сайта в обоих поисковых остановился. Совпадение ? Не думаю.
сейчас тоже за такие страницы яндекс вносит сайт под фильтры за "малополезный контент". такой мусор в роботс надо запрещать.
Ну и пусть сканирует, в чём проблема? Они же не попадают в поисковый индекс.
нужно очень внимательно прочитать https://developers.google.com/search/docs/appearance/site-names?hl=ru
и посмотреть откуда формируется. Так же я бы рекомендовал сделать название сайта просто с заглавной буквы и добавить одно слово небольшое, Например Биржа Starvell
Конечно не нашли, эту ссылку просто скрыли для класса text_finder. Его можно назвать хоть class='hitro_skril_dlya_durakov', и для этого класса установить display:none любым способом =)))
так а гугл и яндекс "понимают" что ссылка стоит в нодиспей, или не "понимают"? В этом же и заключается суть моего вопроса
тут вопрос как он этого до сих пор не сделал? пусть генерят кодеры это их работа
Можно подробнее? Прогер должен написать что то для генерации карты? Сайт сделан на самописном движке, вроде.