но в вебмастере есть раздел "проверка страницы" и там все окей , бот нормально загружает страницу.. Либо в сервисе "проверка ответа" другой IP у бота , либо какой-то глюк яндекса
Тоже самое абсолютно, там код 200.
да , по http или www бот нормально подключается , а по https - нет . Причем яндекс не дает никакого объяснения , наверно сами не знают , почему )
Мне обьяснения дает - типа http и https это 2 разных сайта с разными настройками подключения могут быть
у меня тоже VDS. Но к примеру, если нагрузка очень сильно возрастает, то firstvds может блокировать запросы к вашему VDS.ну в таком случае бомбите поддержку яндекса, чтобы не я один такой был. МОжет увидят проблему
У меня VPS. ТП завалил уже скринами, письмами 😀
а у вас случайно не firstVDS ? А то вдруг , реально яндекс правду говорит и проблема у хостера )
А у вас по http робот подключается? У меня проблема по https
Нет, у меня другой хостер, и вообще VPS
Я бы поступил следующим образом.
Собрал множественные примеры тестов рабочей страницы с различных сервисов и попросил проверить ещё раз, с подтверждением (ответом от тех. поддержки хостинга), что никакие боты специально не блокируются, указанные сервисы корректно получают ответ от сервера и только сервис Яндекса выдаёт ошибку.
Попросите прислать техническое подтверждение, какой результат возвращает сервер при ручной проверке со стороны Яндекса.
Спасибо, так и сделаю
Проверьте через bertal - какой результат в режиме имитации Яндекс бота?
Все норм. 200.
Может есть у кого какие-нибудь мысли? ТП Яндекса стоит на своем - проблема на стороне хостинга, который блокирует бота Яндекса при проверке кода ответа сервера. С ТП хостинга занимались 2 дня. Перепроверили все логи. Стабильно при обращении по http - 301 редирект на https, при обращении по https - обращения нет. Отключали все плагины, меняли htaccess, перевыпускали SSL - ничего не помогает. Сделали поддомен на услуге - к нему Яндекс бот обращается, а к основному сайту нет. Снесли основной сайт и вместо него сделали один текстовый файл - все равно Яндекс бот к нему не обращается.
Т.е. на услуге расположили 2 домена (основной + субдомен) на одном сервере, которые имеют одинаковое содержимое корневых каталогов (пустой файл txt), но для основной домен Яндекс Вебмастер не проверяет, а субдомен проверяет. На всякий случай проверили CDN кеширование - ничего нету. Ну просто ума не приложу, что в Яндексе могло поломаться только с одним сайтом. Все остальные сайты в Вебмастере робот проверяет без проблем.
Вопрос к ТС - у Вас ничего не прояснилось?
В данном случае мне больше кажется , что будто яндекс запомнил (в кеше завис) , что мой сайт был недоступен , а когда он стал доступен , то информацию еще не обновил у себя ..
У вас был сайт недоступен? Просто у меня тоже какое то время из-за ddos на сервер на котором сайт (VPS).
Аналогичная проблема со вчерашнего вечера:
ТП Яндекса шлет к ТП хостинга, ТП хостинга утверждает, что блокировки ботов Яндекса нет. Если проверять по http или вообще без протоколов - показывает 301 редирект на https, а если проверять по https - пишет Не удалось скачать страницу. Статичные файлы по https тоже не скачивает. Хостер даже перевыпустил SSL - не помогло. Временно отключали перенаправление c http на https тогда робот все скачивает. Куда копать не знаю - замкнутый круг нарисовался! 🤔