Визиты умных ботов и падение позиций в Яндекс

W
На сайте с 21.01.2009
Offline
150
20444

Друзья, есть сайт компании по оказанию услуг в Москве, достаточно конкурентная тематика. Сайт качественный, с возрастом.

На сайт уже давно активно идут боты, как результат имеем такую красоту:

БОльшая часть прямые заходы, часть ботов заходит через выдачу яндекса по основным запросам, например из Германии.

Причем из выдачи яндекса боты заходят по запросам где сайт уже на 30-50 позиции.

Ну и соотвествующее падение позиций по ключевым запросам, где-то просто в топ-20, где-то до 50-60 позиции.

Против ботов пробовали ставить cloudflare и сторонние скрипты защиты от ботов - не помогает, боты как шли так и идут.

Да и вообще есть сомнения, что блокировка ботов поможет, если Яндекс считает, что это реальные пользователи. Заблокируем ботов, в глазах Яндекса будем как сайт который не открывается у реальных пользователей.

Яндекс отвечает, что их алгоритм обучится и все расставит на свои места, когда нибудь, наверное. Вы пока развивайте сайт. За полгода алгоритм Яндекса не обучился, наверное еще заканчивает школу, а может детский сад.

Друзья, кто сталкивался, как боролись? Может есть где про это почитать? Не нашел.

Samba1982
На сайте с 29.04.2013
Offline
88
#1

Такая же ситуация, какое у вас соотношение ботов и реальных людей ?

S
На сайте с 01.12.2017
Offline
114
#2

Логи смотрели? Скорей всего заходы с одного и того же хоста, блокируйте по hostname. Чтобы отсечь всю эту "нечисть", надо постоянно мониторить и вычислять откуда идут заходы. Если все делать в постоянном режиме, через месяц-полтора эти набеги прекратятся. У вас еще попроще, когда рунетовский сайт и странные заходы из-за рубежа, а представьте как приходится вычислять весь этот мусор на бурж сайтах.

ale sty
На сайте с 08.01.2011
Offline
135
#3

..del..del

---------- Добавлено 17.01.2019 в 17:19 ----------

Попробуйте это (2018 Bad Bots .htaccess List from HackRepair.com)

Webmaster Lives Matter (WLM; рус. Жизни вебмастеров важны) — интернациональное движение активистов, выступающих против односторонней смены дизайна форума Searchengines
W
На сайте с 21.01.2009
Offline
150
#4
smurf:
Логи смотрели? Скорей всего заходы с одного и того же хоста, блокируйте по hostname.

Там не только Германия, но и Россия, разные браузеры, разные операционные системы и я очень сомневаюсь, что там один хост.

Оптимизайка
На сайте с 11.03.2012
Offline
396
#5

Да скорее всего из hetzner заходят, можно их просто по ip заблокировать. Посмотрите в логах, какие ip и внесите их подсети в .htaccess

А если боты действительно умные, то лучше использовать спец. средства защиты от ботов.

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
W
На сайте с 21.01.2009
Offline
150
#6
Samba1982:
Такая же ситуация, какое у вас соотношение ботов и реальных людей ?

Как предлагаете определять соотношение? Боты из разных стран, разные браузеры, ос, источники, поисковые запросы и т.д.

---------- Добавлено 17.01.2019 в 18:31 ----------

Оптимизайка:

А если боты действительно умные, то лучше использовать спец. средства защиты от ботов.

Хосты разные. Объясните какие именно спец. средства в моей ситуации могут помочь? cloudflare например не может определить, что это боты, яндекс тоже.

Оптимизайка
На сайте с 11.03.2012
Offline
396
#7
weblad:
cloudflare например не может определить, что это боты

Даже если поставить в файрволле тупо страну "германия"? Или внести asn hetzner AS24940 в firewall в режим блокировки?

Bot Inspector
На сайте с 04.06.2018
Offline
9
#8

могу посмотреть своими инструментами и предложить варианты решения.

аудит трафика/детект склика и другие приключения Инспектора и Бота (/ru/forum/1007795)
W
На сайте с 21.01.2009
Offline
150
#9

Еще раз - боты не только Германия, но и Россия, разные браузеры, разные операционные системы, разные хосты.

Они успешно обманывают защиту cloudflare, платный php-скрипт отлова ботов и Яндекс.

Если можете предложить и описать конкретное решение в данной ситуации - велкам.

Если нет - хотелось бы услышать тех, кто сталкивался с такой проблемой, а не тех кто ради рекламы своих услуг зашел, спасибо.

Bot Inspector
На сайте с 04.06.2018
Offline
9
#10

конкретное и вполне рабочее решение — забить.

с 70% вероятностью это боты яндекса, который последние месяцы немножечко сошел с ума, и у которого средняя рука не знает что делает третья лженога.

но гадание по графику трафика — это так себе занятие.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий