Почему?
Они депозит требуют открыть.
Вроде бы проблем нет, уже больше недели все нормально и без ошибок.
Новые влетают в течение часа-двух после индексации быстроботом.
Все это безусловно верно и правильно, но только с нормальным ботом.
У Яндекса бот работает так, как ему вздумается, порой нарушая свои же инструкции.
Угу... и добавляет еще кучу новых 404, которые нагенерят парсеры и краулеры.
В случае ТС - это не работает.
Да и вообще у Яндекса часто не работает - он будет долбить эту 404 страницу еще месяц, прежде чем удалит из базы.
ТС уже не появляется, а здесь все воду льют любители поговорить )))
По сути - тоже с такой проблемой сталкиваюсь часто.
Решить можно только комплексно, иначе бот так и будет долбить по этим адресам.
1. Отключить на время обход по счетчикам, иначе любой заход по урлу Метрика отправляет как сигнал роботу на переобход. А еще лучше, вообще его отключить, ибо куча мусора идет по сигналам Метрики, с хорошим сайтмапом и структурой, никакой обход по счетчикам не нужен.
2. ЯВМ - Инструменты - Удаление страниц из Поиска - кидаем туда весь список урлов, на которые нужно запретить заход. Понимаю, звучит нелепо, но реально работает как-то так, что робот долбит эти страницы и удалять их нужно именно таким способом. Придется этот список кидать раза три, в течение пары недель. Со временем список сойдет на нет.
3. Если у урлов прослеживается общий путь, то добавить в robots.txt - Disallow маску этих урлов.
Через пару недель все закончится или заметно уменьшится.
Если фид не огромный, пробуйте через отладку загонять вручную.
Мне таким образом удалось загнать все последние страницы.
Правда ошибки никуда не делись и лишь множатся с каждым заходом робота.
Добрый день.
Спасибо Роман, проблема уже решена.
Извиняюсь и беру свои слова обратно, проблема была на стороне провайдера.
Это первое, что я проверил =)
Касперского тоже отключал, так как они бывает часто базы обновляют криво и КТС начинает блочить все подряд.
Проблема в том, что у меня ping до adfox.yandex.ru не проходит вообще.
И, как пример, по урлу https://adfox.yandex.ru/js/rum/implementation.min.js отдает 404.
Так что, - все как-то странно.
UPD: всё, понял в чем проблема, это не AdFox, у меня tracert застревает на business.ertelecom.ru хххх
Поэтому и ping не проходит.
Буду с провайдером разбираться.
Правда с 404 чет все равно странно...
А вот это уже интересно - спасибо, что отписались!
У меня не грузятся CSS и JS при входе в AdFox.
В итоге, голый HTML и ничего невозможно сделать.
Имхо, может быть проблема по конкретным серверам у Яндекса?
Да, включена динамическая монетизация.
Там не только РСЯ, но и внешние монетизаторы типа Сапа, Адвертс, МТаргет и т.д.
Но сейчас вообще ничего нет, так как AdFox сдох ))
Даже зайти туда нельзя - сайта тупо нет.
Не успела РСЯ очухаться, как AdFox рухнул )))
Яндекс реально издевается.
