- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Аналогичная проблема со вчерашнего вечера:
ТП Яндекса шлет к ТП хостинга, ТП хостинга утверждает, что блокировки ботов Яндекса нет. Если проверять по http или вообще без протоколов - показывает 301 редирект на https, а если проверять по https - пишет Не удалось скачать страницу. Статичные файлы по https тоже не скачивает. Хостер даже перевыпустил SSL - не помогло. Временно отключали перенаправление c http на https тогда робот все скачивает. Куда копать не знаю - замкнутый круг нарисовался! 🤔
Подскажите, чем у вас история закончилась? У меня есть большая уверенность в том, что они специально сайты из выдачи выкидывают. Только прошла одна ситуация которую обсуждали в этой теме, так следом произошло то, о чем вы пишите. Вчера зашел в мерчант и увидел, что товарный фид заблокирован и якобы в нем нет ни одного товара=бесплатным методом товары не показываются, зато в директе за деньги фиды прекрасно торчат и товары там присутствуют. У меня тематика стройматериалы и они нас выкидывают в аккурат перед сезоном третий год подряд, но в этот раз по новой схеме, как раз то о чем вы пишите: при проверке ответа на сервере в вебмастере все страницы сайта выдает "Не удалось скачать содержимое страницы". Зато при проверке сервисом bertal все отлично, так же у основного домена который они выкинули есть поддомен и вот с ним все хорошо. Писал в поддержку и пока одни отписки мол разбираемся в проблеме, но явно проблема исходит от них, специально или случайно это конечно большой вопрос. У меня за пару лет накопилось большое количество скринов, о том как работают их мошеннические алгоритмы, начиная от скликивания ботами и заканчивая вот такими ситуациями, что руки чешутся блог на vc завести, но лень этим заниматься.
"Не удалось скачать содержимое страницы".
при проверке ответа на сервере в вебмастере все страницы сайта выдает "Не удалось скачать содержимое страницы"
Вы логи сервера смотрели?
У ботов Яндекса, в последние пару недель, наблюдаются какие-то проблемы с PTR записями.
Например, приходит бот и представляется как yandex.ru, а в PTR у него запись как yandex.com.
В итоге, многие WAF базы стали воспринимать их как fake-бот и блокировать.
Защита на сервере от хостера или своя собственная установлена?
В общем, нужно этот вариант тоже иметь ввиду, так как проблема явная и Яндекс о ней уже в курсе, но ни фига не решает и не чешется, чтобы исправить ситуацию...
В вебмастере проверьте всех ботов на ответ сервера - все 200?
Проверял, по всем ботам выдает: Не удалось скачать содержимое страницы.
Вы логи сервера смотрели?
У ботов Яндекса, в последние пару недель, наблюдаются какие-то проблемы с PTR записями.
Например, приходит бот и представляется как yandex.ru, а в PTR у него запись как yandex.com.
В итоге, многие WAF базы стали воспринимать их как fake-бот и блокировать.
Защита на сервере от хостера или своя собственная установлена?
В общем, нужно этот вариант тоже иметь ввиду, так как проблема явная и Яндекс о ней уже в курсе, но ни фига не решает и не чешется, чтобы исправить ситуацию...
Логи не смотрел, у меня vps и защита на сайте собственная, просто у главного домена с которым проблемы начались есть поддомен и вот поддомен с такой же защитой и robot.txt приблизительно одинаково заполнен и с ним все нормально, поддержка ответ прислала что мол проблемы на вашем хостинге, но это все бредни. Ну и вишенка на торте, то что фид товарный в директе прекрасно работает и там товаров как было 5000, так и осталось, а в мерчанте товаров 0 и блокировка.