Не удалось скачать содержимое страницы - Яндекс.Вебмастер.

Подскажите, чем у вас история закончилась? У меня есть большая уверенность в том, что они специально сайты из выдачи выкидывают. Только прошла одна ситуация которую обсуждали в этой теме, так следом произошло то, о чем вы пишите. Вчера зашел в мерчант и увидел, что товарный фид заблокирован и якобы в нем нет ни одного товара=бесплатным методом товары не показываются, зато в директе за деньги фиды прекрасно торчат и товары там присутствуют. У меня тематика стройматериалы и они нас выкидывают в аккурат перед сезоном третий год подряд, но в этот раз по новой схеме, как раз то о чем вы пишите: при проверке ответа на сервере в вебмастере все страницы сайта выдает "Не удалось скачать содержимое страницы". Зато при проверке сервисом bertal все отлично, так же у основного домена который они выкинули есть поддомен и вот с ним все хорошо. Писал в поддержку и пока одни отписки мол разбираемся в проблеме, но явно проблема исходит от них, специально или случайно это конечно большой вопрос. У меня за пару лет накопилось большое количество скринов, о том как работают их мошеннические алгоритмы, начиная от скликивания ботами и заканчивая вот такими ситуациями, что руки чешутся блог на vc завести, но лень этим заниматься.

Вы логи сервера смотрели?

У ботов Яндекса, в последние пару недель, наблюдаются какие-то проблемы с PTR записями.

Например, приходит бот и представляется как yandex.ru, а в PTR у него запись как yandex.com.

В итоге, многие WAF базы стали воспринимать их как fake-бот и блокировать.

Защита на сервере от хостера или своя собственная установлена?

В общем, нужно этот вариант тоже иметь ввиду, так как проблема явная и Яндекс о ней уже в курсе, но ни фига не решает и не чешется, чтобы исправить ситуацию...

Проверял, по всем ботам выдает: Не удалось скачать содержимое страницы.

Логи не смотрел, у меня vps и защита на сайте собственная, просто у главного домена с которым проблемы начались есть поддомен и вот поддомен с такой же защитой и robot.txt приблизительно одинаково заполнен и с ним все нормально, поддержка ответ прислала что мол проблемы на вашем хостинге, но это все бредни. Ну и вишенка на торте, то что фид товарный в директе прекрасно работает и там товаров как было 5000, так и осталось, а в мерчанте товаров 0 и блокировка.

Никто случайно снова не столкнулся с тем же, что описано? С 23.08, без каких-либо изменений на сайте.

Симптомы:

1. "Проверка ответа сервера" в вебмастере — не удалось загрузить страницу. Только по https, по http можно получить  и контент (там где нет для него перенаправления) и получить ответ сервера 301. Вебмастер рапортует о "фатальной ошибке".
2. Проверка страницы и другие инструменты там же в вебмастере с тем же ботом — получают контент исправно (200)
3. Боты яндекса ходят, видны в логах сервера, но в логах видны лишь успешные и их стало меньше.
4. Хостер говорит никаких блокировок, Яндекс — блокировка IP на стороне сервера.

Да, все тоже самое повторяется на одном из сайтов. У Яндекса опять что-то поломалось.

Платонам писали? (сдается мне, только это как-то сдвинуть что-то может. хотя бы в понедельник)

Я за сегодня (как и вы 2 года назад) уже всех замучил с логами и прочим.

И на всякий случай, для тех кто когда-нибудь как и я будет искать "Не удалось скачать содержимое страницы в Яндекс Вебмастере",  дополнительные наблюдения:

- https для www.домен работает ответ 301 есть.

- отключение анти-DDoS  сервера на ситуацию не повлияло

- ну и в логах (не только access.log, где я и сам вижу) нигде со слов хостера обращений по https к основному сайту с конкретного IP, который использует инструмент проверки нет.