Давно замечаю у себя в статистике обхода такие изменения: Было 200 OK – Стало 500 Internal Server Error. Потом в следующую дату обхода, или в эту же наоборот: Было 500 Internal Server Error – Стало 200 OK. Для того же URL. И так с разными страницами. По несколько штук в день (в дату обхода роботом).
У вас так же? Это нормально? Я так понимаю, в какой-то момент сервер не отвечает и выдает 500 ошибку. Но по нагрузке вроде все ок, ресурсы с запасом.
За последний год была такая же картина на двух проектах - сайт работает нормально, Яндекс "мигает 500-тыми ошибками".
В раз раз переписывался с поддержкой Яндекса порядка двух неделю, последовательно приводя примеры, что хостинг отдаёт исправный 200 ответ, а робот почему-то время от времени фиксирует 500-ую ошибку. Со временем проблема ушла (примерно ещё через неделю).
Во втором случай вопрос решился быстрее, так как были наработки прошлой переписки.
Смотря в чём похожесть. Наплывы ботов повсеместно. Смотрите логи, изучайте характер поведения.
Самых назойливых баньте подсетями.
Есть тех. боты, есть парсеры, есть поведенческие. Везде своя линия работы.
С каждым случаем нужно разбираться отдельно.
Хотите, чтобы вам ответили люди, которые не имеют к этому отношения? :)
Вариантов множество, узнать конкретно ваш вряд ли возможно.
Если хотя бы одну сканирует, значит физического запрета на доступ нет.
Проверьте ещё раз, нет ли запрета на обход/индексацию в:
- robots.txt
- в мета тегах
- в ответе сервера
CloudFlare используется?
Свой сайт сканируете?
На момент сканирования через Screaming Frog с рабочего компьютера - сайт в браузере открывается?
Проблема как себя проявляет, SF вообще не сканирует или просто останавливается на каком-либо этапе?
Глобально, думаю, что нет. В том смысле, что если трафика на страницах нет, то Яндекс потихоньку выкидывает такие страницы из индекса.
Хоть десятилетиями. Это принципиально ничего не меняет.
Вопрос - какая доля из накрученного попадает в реальную статистику и влияет на показатели. Глобально этого не знает никто, кроме узкой части инженеров Яндекса, но определённые корреляции в своём сегменте можно отслеживать.
Я по НЧ и микроНЧ запросам такие изменения вижу.
Затраты совсем небольшие, написать за минуту пару абзацев - несильно утомительное действие 😉
А так, мне интересны рабочие ситуации. Их разбор нередко полезен, а когда получается непосредственно помочь - душевная радость. Для меня это тоже важно.
Какие можешь порекомендовать?
Одно время любил ТГ чат Пиксель Плюс, но потом по человечески разочаровался и отписался.
Самый "светлый" SEO чат это https://t.me/seotusovochka.
Одно время любил чат Пиксель Плюс, там были толковые ребята и время от времени приходили заказчики.
Был недолго наверное несколько месяцев, но потом по-человечески разочаровался в администрации.
Самый "светлый" чат по SEO это:
https://t.me/seotusovochka
Клиентов на сопровождение там не было никогда, но нередко ищут исполнителей на сдельные SEO задачи. Также нередко проскакивают рабочие вакансии.
