ТС уже не появляется, а здесь все воду льют любители поговорить )))
По сути - тоже с такой проблемой сталкиваюсь часто.
Решить можно только комплексно, иначе бот так и будет долбить по этим адресам.
1. Отключить на время обход по счетчикам, иначе любой заход по урлу Метрика отправляет как сигнал роботу на переобход. А еще лучше, вообще его отключить, ибо куча мусора идет по сигналам Метрики, с хорошим сайтмапом и структурой, никакой обход по счетчикам не нужен.
2. ЯВМ - Инструменты - Удаление страниц из Поиска - кидаем туда весь список урлов, на которые нужно запретить заход. Понимаю, звучит нелепо, но реально работает как-то так, что робот долбит эти страницы и удалять их нужно именно таким способом. Придется этот список кидать раза три, в течение пары недель. Со временем список сойдет на нет.
3. Если у урлов прослеживается общий путь, то добавить в robots.txt - Disallow маску этих урлов.
Через пару недель все закончится или заметно уменьшится.
Если фид не огромный, пробуйте через отладку загонять вручную.
Мне таким образом удалось загнать все последние страницы.
Правда ошибки никуда не делись и лишь множатся с каждым заходом робота.
Добрый день.
Спасибо Роман, проблема уже решена.
Извиняюсь и беру свои слова обратно, проблема была на стороне провайдера.
Это первое, что я проверил =)
Касперского тоже отключал, так как они бывает часто базы обновляют криво и КТС начинает блочить все подряд.
Проблема в том, что у меня ping до adfox.yandex.ru не проходит вообще.
И, как пример, по урлу https://adfox.yandex.ru/js/rum/implementation.min.js отдает 404.
Так что, - все как-то странно.
UPD: всё, понял в чем проблема, это не AdFox, у меня tracert застревает на business.ertelecom.ru хххх
Поэтому и ping не проходит.
Буду с провайдером разбираться.
Правда с 404 чет все равно странно...
А вот это уже интересно - спасибо, что отписались!
У меня не грузятся CSS и JS при входе в AdFox.
В итоге, голый HTML и ничего невозможно сделать.
Имхо, может быть проблема по конкретным серверам у Яндекса?
Да, включена динамическая монетизация.
Там не только РСЯ, но и внешние монетизаторы типа Сапа, Адвертс, МТаргет и т.д.
Но сейчас вообще ничего нет, так как AdFox сдох ))
Даже зайти туда нельзя - сайта тупо нет.
Не успела РСЯ очухаться, как AdFox рухнул )))
Яндекс реально издевается.
Похоже, что они сами не знают причину.
Мое имхо - тупо сломали сервис, когда отпиливали.
Обычно, в больших проектах, добавляется куча кода от разных программистов.
И кто там чего наваял за прошедшие годы - попробуй разберись ))
Это как раз объяснимо, так как ошибка действительно именно в этом - робот не успевает или не может загрузить картинки.
Другое дело, что СП начинает тебе на полном серьезе объяснять, что ошибка с загрузкой одной и той же картинки в течении недели - это нормально и само рассосется ))
Вообще, на сколько могу судить, вот это все начало сыпаться с тех пор, как они отпилили Турбо от ИМ.
Раньше подобных проблем не было вообще.
Потому, что Яндекс, не? ))
У них отвалилось, в последнее время, много чего, начиная от турбо, заканчивая РСЯ.
Саппорт пишет, что всё в порядке, но ответы СП через две недели наводят на мысль, что у них много чего поломалось и их тупо завалили обращениями.
