Вы логи сервера смотрели?
У ботов Яндекса, в последние пару недель, наблюдаются какие-то проблемы с PTR записями.
Например, приходит бот и представляется как yandex.ru, а в PTR у него запись как yandex.com.
В итоге, многие WAF базы стали воспринимать их как fake-бот и блокировать.
Защита на сервере от хостера или своя собственная установлена?
В общем, нужно этот вариант тоже иметь ввиду, так как проблема явная и Яндекс о ней уже в курсе, но ни фига не решает и не чешется, чтобы исправить ситуацию...
Логи не смотрел, у меня vps и защита на сайте собственная, просто у главного домена с которым проблемы начались есть поддомен и вот поддомен с такой же защитой и robot.txt приблизительно одинаково заполнен и с ним все нормально, поддержка ответ прислала что мол проблемы на вашем хостинге, но это все бредни. Ну и вишенка на торте, то что фид товарный в директе прекрасно работает и там товаров как было 5000, так и осталось, а в мерчанте товаров 0 и блокировка.
Проверял, по всем ботам выдает: Не удалось скачать содержимое страницы.
Аналогичная проблема со вчерашнего вечера:
ТП Яндекса шлет к ТП хостинга, ТП хостинга утверждает, что блокировки ботов Яндекса нет. Если проверять по http или вообще без протоколов - показывает 301 редирект на https, а если проверять по https - пишет Не удалось скачать страницу. Статичные файлы по https тоже не скачивает. Хостер даже перевыпустил SSL - не помогло. Временно отключали перенаправление c http на https тогда робот все скачивает. Куда копать не знаю - замкнутый круг нарисовался! 🤔
Подскажите, чем у вас история закончилась? У меня есть большая уверенность в том, что они специально сайты из выдачи выкидывают. Только прошла одна ситуация которую обсуждали в этой теме, так следом произошло то, о чем вы пишите. Вчера зашел в мерчант и увидел, что товарный фид заблокирован и якобы в нем нет ни одного товара=бесплатным методом товары не показываются, зато в директе за деньги фиды прекрасно торчат и товары там присутствуют. У меня тематика стройматериалы и они нас выкидывают в аккурат перед сезоном третий год подряд, но в этот раз по новой схеме, как раз то о чем вы пишите: при проверке ответа на сервере в вебмастере все страницы сайта выдает "Не удалось скачать содержимое страницы". Зато при проверке сервисом bertal все отлично, так же у основного домена который они выкинули есть поддомен и вот с ним все хорошо. Писал в поддержку и пока одни отписки мол разбираемся в проблеме, но явно проблема исходит от них, специально или случайно это конечно большой вопрос. У меня за пару лет накопилось большое количество скринов, о том как работают их мошеннические алгоритмы, начиная от скликивания ботами и заканчивая вот такими ситуациями, что руки чешутся блог на vc завести, но лень этим заниматься.
Я их не защищаю, но сейчас у многих так, вылет, потом позиции возвращается, может с этим связано?
У меня самого нет желания их очернять и на самом деле думал, что это более порядочная компания, чем тот же вк таргет, но тут это происходит второй раз на моей памяти, как то давно была настроена компания и настроено очень хорошо, далее переходы на сайт с рекламного кабинета, потом звонок менеджера и далее просадка и опять ситуация повторяется, я сомневаюсь в том, что это случайность.
То, что они гадят такими методами у меня уже сомнений никаких нет, в понедельник звонил менеджер яндекса и предлагал настроить рекламу, я отказался, так как прекрасно понимаю как они мне ее настроят (начнется бестолковое выкачивание денег) и вот уже во вторник просадка по рекламе на двух сайтах и один сайт по самой посещаемой странице вылетел из топа(хотя в гугле позиции сохраняются), трафик упал в три раза и такая ситуация на моей памяти не в первый раз, это их методы работы, не хочешь платить за "качественно настроенную рекламу" и за клики которые скликивают их боты, получай фильтр.
Кто нибудь сталкивался с такими переходами?
Сегодня на одном из сайтов было 10 переходов с iframe-toloka.com, а после 16:00 пошли переходы с iframe-tasks.yandex, 90 переходов. Отказы 71%.
Они отношения к Яндексу имеют? Теоретически же могут подменять реферера. Как проверить?
Здравствуйте, подскажите чем у вас закончилось все это дело? У меня на сайт долгое время набегали боты и после установки защиты примерно через неделю начались набеги с iframe-tasks.yandex , в основном заходят с винды и практически все на сайте менее трех секунд, отказы более 70% , кто нибудь знает как бороться с этим, может был опыт блокировки таких переходов, чем это черевато? Просто переходы стали занимать весь трафик сайта.
