Как часто будете менять домен?
Мы пока точно не решили менять, но руки опускаются от безысходности
Мы полгода забивали на ботов, что оказалось для нас плачевным. Сначала их было немного потом все больше и больше, пока ботный трафик не перевесил живых пользователей. Сайт достаточно молодой 1,5 года, из живых 800 пользователей по коммерческим запросам ежедневно мы в итоге спустились до 40. Как только позиции просели то трафик ботовый также упал пропорционально живому. В течение этих полгода мы более 4 раз общались с поддержкой и получали теже отписки как и все в этой ветке. Последние полторы недели используем капчу по определенным правилам. Часть позиций вернулись на свои места, часть позиций только на вторую страницу поиска. Прошло всего полторы недели. Видимость сайта начала расти. Но стоит также отметить мы параллельно улучшаем страницы как в техническом плане, так и учитывая новый алгоритм с его трансформерами.
Результаты использования Cloudflare. Как и писали до этого в феврале подключили клауд с его фаерволлом. Фильтровали трафик и подсовывали капчу на прямые заходы и соц сети, а так же переодически добавляли спамные айпишки? если уж совсем много мусорного трафа с определенного. Первый месяц позиции начали расти, видимость тоже. Появились заявки, НО - боты стали шарашить по поисковым запросам из выдачи. При чем практически по всему пулу семантики топовых запросов. Тут уже клауд нам ни как не помог, да и как фильтровать таких ботов просто непонятно. Если обычно отказы держаться при живом трафике 10-15%, то у ботов нулевая активность но процент отказов 5-6%. Сейчас все позиции улетели опять за 4 страницу выдачи. Так же стали биться и по информационым запросам. Просто печаль. Что сейчас сделали: отказались от всех блокировок, написали в яндекс еще раз, и переписываем сайт на локалке, раздумываем о смене домена((
значение $_SERVER['REMOTE_ADDR'] оно не подделываемое. Там вы могли видеть ипы проксей гугла, яндекса, оперы.
идут в основном сейчас с мобильных прокси. серверными и tor сейчас разве что школьники балуются. Реферер подделывают часто.
Ну я об этом речь и веду, что будут видны ipшки прокси мобильных, но реальный айпи злоумышленника не увидишь. Хотя иногда проскакивают айпишки хостеров, скорей всего использующих то самое ПО для накрутки.
Полгода раз 5-6 точно обращались к яндексу, нормально ответа так и не дождались. Хотя кто знает, может вам повезет, напишите чем закончилось ваше общение.
Нужно немного доработать код метрики. К примеру, как тут написано.
Кстати по поводу этого способа вывод ip в метрику, ipшки большинство подставные через прокси, а где то вообще фейковые передаются. Мы сравнивали логи и то что выводилось в метрику. Некоторые айпишки были якобы гугловские или яндексовские, а по логам реффер поддельный.
Интересная версия, но только больше скорее контрольная. Вообще была мысль что это нейронка самого яндекса. Возможно все мы просто попали под эксперемент и обучение нейронки под новые алгоритмы яндекса.
Сам по себе клауд, без настроек, практически бесполезен. Только изучение логов и формирование правил блокировки и капчи, дают эффект.
Все верно! И у каждого это свои правила под каждый проект. Плюсом мы также дополнительно включили WAF. Посмотрим как на дистанции это сработает. Вот еще интересный модуль под NGINX https://docs.nginx.com/nginx-app-protect/configuration/#nginx-app-protect-terminology. Но пока не настолько селен в нем. Может кто подскажет стоящая вещь?
В этой теме есть подтверждение и опровержение чему угодно. Например, что боты никак не влияют на позиции, а борьба с ними, напротив, позиции ухудшает.
Кроме того, подавляющее большинство сообщений на эти 300 страниц являются обычным флудом, десятки раз повторяющимися вопросами и предположениями с нелепыми или откровенно неграмотными комментариями.
Один метрополитеновский мегафон чего стоит.
Флуд не флуд, само наличие этой ветки подтверждает что проблема есть и если ветку почитать, то все таки сводиться к тому что боты реально ухудшают позиции и убивают видимость сайта ,поэтому стоит предпринимать меры. После двух недель после подключения клауда на нашем сайте позиции начали расти и возвращаться постепенно на свои места. Сегодня к примеру вернулся достаточно жирный запрос на первую страницу и принес долгожданные заявки. 😏
Но пока что в ветке нет инфы о том что кто-то победил эту проблему, разве нет? Люди пробуют разные методы, но с одинаково около нулевым результатом.
Пока будешь раздумывать хорошо это или плохо, твой сайт потеряет все позиции в топе, ветка на 300+ страниц этому подтверждение. И не обязательно блокировать по ip. Для нас рабочим вариантом оказалось подсовывать капчу по определенным правилам.
