Запретить сканирование как ?

1 23
JJwar
На сайте с 16.06.2009
Offline
151
#21
Mik Foxi #:

это будут единичные заходы. а так на 99.99% гугл яндекс и бинг будут следовать указаниям и не пойдут по таким разделам. 

ходить будут всякие другие бешенные ИИ и говноботы. 

Вы вообще seo шник ? Как это не будут ходить, мне показалось что ли 61к  заходов ? См. скрин
png 2026-02-17_14-49-22.png
JJwar
На сайте с 16.06.2009
Offline
151
#22
Vladimir #:
304
а такое технически возможно ? Чтобы бот получал 302, а пользователь в браузере 200 ? Лучше тогда уж 301 ставить, зачем 302 то ?
JJwar
На сайте с 16.06.2009
Offline
151
#23
Ponyk #:

Считаю то что и не убавляет. 

Считаю что убавляет,  с тех пор как поисковики начали пытаться сканировать десятки тысяч этого мусора - рост сайта в обоих поисковых остановился. Совпадение ? Не думаю.
JJwar
На сайте с 16.06.2009
Offline
151
#24
LEOnidUKG #:

Ещё как вариант можно бахнуть canonical на главную страницу каждого раздела + выводить ссылки на эти мусорные страницы через JS, чтобы боты меньше их кушали.

сайт вообще на скрипте написан, как бот вообще находит ссылки эти - я не понимаю, не прогер я
Mazay
На сайте с 07.11.2009
Offline
154
#25

JJwar #:
Как это не будут ходить, мне показалось что ли 61к  заходов ? См. скрин


Это количество страниц на сайте, которые нашел Яндекс.

А сам он пишет вот что:

  1. Добавьте директиву Clean-param в файл robots.txt . Она позволяет указать роботу на нужный URL среди дублирующих — нагрузка постепенно снизится. Также директива дает возможность передавать основному URL или сайту некоторые накопленные показатели.

    Чтобы быстро снять нагрузку от робота, добавьте директиву Disallow в файл robots.txt . Робот перестанет обращаться к указанным страницам в течение суток после внесения изменений в файл.


https://yandex.ru/support/webmaster/ru/robot-workings/load-robots?lang=ru

Mazay
На сайте с 07.11.2009
Offline
154
#26
JJwar #:
сайт вообще на скрипте написан, как бот вообще находит ссылки эти - я не понимаю, не прогер я
Для Яндекса - включен обход по Метрике. На скриншоте это есть.
Mik Foxi
На сайте с 02.03.2011
Offline
1227
#27
JJwar #:
Вы вообще seo шник ? Как это не будут ходить, мне показалось что ли 61к  заходов ? См. скрин
сколько дней прошло с запрета в роботс? точно ли там запрет правильно прописан и точно ли яндекс видит (в проверка ответа сервера) актуальное содержимое роботса? это аномалия.
Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (8 лет на защите сайтов). Форум на замену серчу: https://foxi.biz/
Vladimir SEO
На сайте с 19.10.2011
Offline
2071
#28
JJwar #:
как бот вообще находит ссылки эти - я не понимаю, не прогер я

ябот находит страницы так же например из метрики и браузера

гуглбот из хрома

Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
Vladimir
На сайте с 07.06.2004
Offline
624
#29
JJwar :
Удалить все эти страницы - нет возможности, сайт не сможет функционировать без них.
JJwar #:
а такое технически возможно ? Чтобы бот получал 302, а пользователь в браузере 200 ? Лучше тогда уж 301 ставить, зачем 302 то ?
JJwar #:
сайт вообще на скрипте написан, как бот вообще находит ссылки эти - я не понимаю, не прогер я
После названия темы, тему нужно было начинать с последней вашей фразы - не прогер я
В этом случае единственный совет: нанять прогера и удалить все дубли страниц сайта. 

Других практических решений нет, есть только теория которую вы не в состоянии понять.

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий