JJwar

JJwar
Рейтинг
154
Регистрация
16.06.2009
Vladimir #:
304
а такое технически возможно ? Чтобы бот получал 302, а пользователь в браузере 200 ? Лучше тогда уж 301 ставить, зачем 302 то ?
Mik Foxi #:

это будут единичные заходы. а так на 99.99% гугл яндекс и бинг будут следовать указаниям и не пойдут по таким разделам. 

ходить будут всякие другие бешенные ИИ и говноботы. 

Вы вообще seo шник ? Как это не будут ходить, мне показалось что ли 61к  заходов ? См. скрин
png 2026-02-17_14-49-22.png
Стас Рахимов #:

Будут. Тебе это простительно не знать, ты не сеошник, но вот сеошники тут местные - они то должны знать, что бот всё равно будет ходить в этом случае.

В гугле даже есть специальный пункт, который называется "проиндексировано несмотря на блокировку в файле robots.txt"

Вот расскажите, сеошники, как может робот не ходить на эти страницы, при этом индексировать их?

В яндексе тоже, если не ошибаюсь есть такое "директивы в роботсе носят для поискового бота РЕКОМЕНДАТЕЛЬНЫЙ характер"
LEOnidUKG #:

Можете попробовать на таких страницах прописать:

Но при этом надо их открыть в robots.txt чтобы робот увидел, что не надо ничего там сканировать и ходить там по ссылкам.

Убрать в 404 от роботов это не панацея т.к. они будут ходить по ссылкам и кричать, что у вас теперь много 404 ошибок, а это ещё хуже.

Если я уберу из роботса запрет, бот ГАРАНТИРОВАННО будет обращаться к этим страницам. А мне как раз и нужно чтобы он к ним не обращался, не пытался их сканировать.
Стас Рахимов #:

Ну так он хочет, чтобы робот их вообще не дёргал, как я понял.

Робот их будет в любом случае дёргать, даже если запретить во всех местах.

А если я не понял, то вообще проблема не является проблемой.

Да, скорее всего проблема не решаема на данный момент, с платонами устал уже переписываться, горбатого лепят двадцать писем подряд. Раньше, 10-15 лет назад было просто - прописал в роботсе запрет и всё, бот даже не пытался сканировать.  

Думаю, проблема таки является проблемой: с тех пор как поисковики начали пытаться сканировать десятки тысяч этого мусора - рост сайта в обоих поисковых остановился. Совпадение ? Не думаю.

Mik Foxi #:
сейчас тоже за такие страницы яндекс вносит сайт под фильтры за "малополезный контент". такой мусор в роботс надо запрещать.
в роботсе я запретил, но яндекс-бот всё равно к ним обращается
Стас Рахимов #:
Ну и пусть сканирует, в чём проблема? Они же не попадают в поисковый индекс.
раньше за подобное - поисковики жёстко банили сайты, с формулировкой "Сайт создаёт излишнюю нагрузку на сервера поисковой системы". Сейчас поисковики не банят сайт, но и траста сайту подобная проблема явно не добавляет.
Vladimir SEO #:

нужно очень внимательно прочитать https://developers.google.com/search/docs/appearance/site-names?hl=ru 

и посмотреть откуда формируется. Так же я бы рекомендовал сделать название сайта просто с заглавной буквы и добавить одно слово небольшое, Например Биржа Starvell

Прочитал  месяц назад, внимательно, несколько раз. Все требования выполнил, разве что входящих ссылок с других сайтов с таким анкором нет наверное.  
Проблема в том что все буквы в названии заглавные? Так назвния сайта заглавными встречаются нередко.
ziliboba0213 #:

Конечно не нашли, эту ссылку просто скрыли для класса text_finder. Его можно назвать хоть class='hitro_skril_dlya_durakov', и для этого класса установить display:none любым способом =)))

так а гугл и яндекс "понимают" что ссылка стоит в нодиспей, или не "понимают"? В этом же и заключается суть моего вопроса

Vladimir SEO #:

тут вопрос как он этого до сих пор не сделал? пусть генерят кодеры это их работа

Можно подробнее? Прогер должен написать что то для генерации карты? Сайт сделан на самописном движке, вроде.

Всего: 226