Как отвадить робота от переобхода мусорных страниц

123 4
Seveteen
На сайте с 09.11.2007
Offline
124
1337
Возникла следующая ситуация, сайт был взломан и добавлен левый sitemap в котором находилось порядка 60 000 тысяч ссылок на левые страницы, вирус мы убрали все пофиксили, но робот Яндекса все равно продолжает долбить по этим страницам по старой памяти (скрин во вложении). ТП Яндекса ни чем не помогла, тип это ваши проблемы и сами решайте. На ЦП хоста идет значительная нагрузка из-за роботов Яндекса. Своего рода ДДос от Яндекса, что с этим делать мыслей нет( Менять тариф хостинга на более мощный и продолжать смотреть на этот треш тоже не хочется. Посоветуйте, может у кого были подобные ситуации? 
png 404.png
Задач без решения не бывает. Пришел. Увидел. BMW.
A6
На сайте с 02.09.2019
Offline
70
#1

Аналогичная беда (правда причина не взлом, а мой косяк с вложенностью урлов, который просуществовал не более 5 минут), яндекс ходит по ним ГОД!!!

Ходит и стандартный бот и фетчер тысячами в день, хотя урлов чуть больше 200. 404 не помогают 410 не помогают.

Есть релаьное решение их отвадить от пагубной привычки?

M
На сайте с 02.08.2022
Offline
18
#2

1. собрать список всех url и выдавать по ним "легкий ответ" (если php, то вида " header("HTTP/1.1 404 Not Found"); exit(0);" )

2. добавить их в robots.txt (запрет на индексацию)

3. в yandex.webmaster: "Инструменты -> Удаление страниц из поиска"

По своему опыту скажу, что через пару недель сойдет на нет почти такой траф от ПС-ботов.
A6
На сайте с 02.09.2019
Offline
70
#3
minekras #:

1. собрать список всех url и выдавать по ним "легкий ответ" (если php, то вида " header("HTTP/1.1 404 Not Found"); exit(0);" )

не помогает

minekras #:

2. добавить их в robots.txt (запрет на индексацию)

не помогает

minekras #:

3. в yandex.webmaster: "Инструменты -> Удаление страниц из поиска"

Как это должно помочь страницам, которые год отдают 404? в индексе их и не было никогда

Vladimir SEO
На сайте с 19.10.2011
Offline
1750
#4
Andrew666 #:
Есть релаьное решение их отвадить от пагубной привычки?
мета ноиндекс ? попробовать 1 включить и повесить туда мета роботс
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
Антоний Казанский
На сайте с 12.04.2007
Offline
640
#5
Seveteen :
На ЦП хоста идет значительная нагрузка из-за роботов Яндекса. Своего рода ДДос от Яндекса, что с этим делать мыслей нет

Попробуйте изменить скорость обхода поискового робота,


В остальном, если ПС очередь на обход уже сформировала, то она будет его обрабатывать, пока не исчерпает полностью.

Повлиять на неё можно только приоритетным переобходом других страниц, но это ничего не даст, пока заданная не исчерпает свою полноту. Как-то точечно повлиять на неё невозможно. Проверить её также нет возможности.

p.s. Попробуйте пересоздать и перезагрузить свою рабочую sitemap.xml карту. 

Не могу сказать, даст ли это какой-то позитивный эффект в том, чтобы робот перестал ходить по старым адресам, но я бы на вашем месте всё равно попробовал.

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Обучение автоматизации с помощью Zennoposter https://goo-gl.me/6Zypu
Vladimir
На сайте с 07.06.2004
Offline
541
#6
Антоний Казанский #:

Попробуйте изменить скорость обхода поискового робота,

Уменьшите обьем страниц при обходе поискового робота — настройте last-modified
скорость обхода при этом можно оставить максимальной

...левый sitemap удалили?
Положите назад, без спам ссылок, отправьте на переобход


Все нормально удаляется, если вдруг накосячили

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
A6
На сайте с 02.09.2019
Offline
70
#7
Vladimir SEO #:
мета ноиндекс ? попробовать 1 включить и повесить туда мета роботс

Все равно ходит, пробовал. Дошел даже до 410 ответа. Ничто ему не указ. С гуглом все в разы проще, он после первой 404 перестал посещать. Был бы сервак похуже, яндекс клал бы сайт

Антоний Казанский
На сайте с 12.04.2007
Offline
640
#8
Vladimir #:
Уменьшите обьем страниц при обходе поискового робота — настройте last-modified
скорость обхода при этом можно оставить максимальной

Настройка Last-Modified и Last-Modified Since не помогут, когда очередь на индексацию уже сформирована.

Last-Modified и прочие <lastmod>-ы - это настройки следующего порядка. 

Есть существенная разница между обработкой рабочей очереди и учётом новых правил в работе поискового робота.


Vladimir #:
...левый sitemap удалили?
Положите назад, без спам ссылок, отправьте на переобход

Здесь согласен, об этом выше сказал.

Антоний Казанский
На сайте с 12.04.2007
Offline
640
#9
Andrew666 #:
Все равно ходит, пробовал. Дошел даже до 410 ответа. Ничто ему не указ.

Верно. Рабочая очередь - это уже то, что принято к исполнению.

p.s. Многократно сталкивался.

Вот конкретно сейчас рабочая ситуация - написал ТЗ-шку программисту поправить сломавшийся sitemap.xml (по этого всё нормально работало), а программист никому ничего не говоря вообще решил обновить шаблон Аспро Битрикса и затянул туда кучу рекламных данных. Я смотрю у меня на дня в индекс пачками полетели левые разделы, которые после обновления насоздавались в каких-то абсолютно левых разделах. Cмотрю в новый sitemap.xml - а там весь этот мусор тоже подключен.

Всё закрыл, всё удалил, всё поправили, нигде левых данных нет, а Яндекс всё равно ходит по левым адресам. Бестолково и бессмысленно ходит, получая 410, а всё равно ходит, потому что очередь на переобход уже создана. 

И обновление рабочих данных пока не помогает. Впрочем, нестрашно, походит и успокоится.

Vladimir
На сайте с 07.06.2004
Offline
541
#10
Антоний Казанский #:

Настройка Last-Modified и Last-Modified Since не помогут, когда очередь на индексацию уже сформирована.

Соврал, исправил...
Ну и что, что будет очередь? Робот при настроенном Last-Modified, уже не придет, даже по списку
И нагрузка на сервер резко упадет
123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий