Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 18.01.2019, 01:46   #21
mrmvd
Дипломник
 
Регистрация: 04.08.2011
Сообщений: 78
Репутация: 2095

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Цитата:
Сообщение от weblad Посмотреть сообщение
Еще раз - боты не только Германия, но и Россия, разные браузеры, разные операционные системы, разные хосты.
Они успешно обманывают защиту cloudflare, платный php-скрипт отлова ботов и Яндекс.

Если можете предложить и описать конкретное решение в данной ситуации - велкам.
Если нет - хотелось бы услышать тех, кто сталкивался с такой проблемой, а не тех кто ради рекламы своих услуг зашел, спасибо.

Я сталкивался, только с двумя поправками:
1) Максимальный трафик ботов в день был около миллиона хитов.
2) Боты были всех мастей и страстей.

А ну да - и по времени эта канитель длится годами с переменным успехом.

Для начала любыми способами найдите статистику которая позволяет группировать пользователей по сессиям, хитам и выводит IP-адреса.

Я начинал с того, что отсекал ботов с одной сессией и большим числом хитов. Они сидели в дата-центрах.
Тут по соседству есть скрипт который блочит 20 с чем-то тысяч IP и подсетей всех ЦОД-ов мира. Это можно делать и руками, заблокировав 10-20 крупных дата-центров.

Этот шаг помогает против ботов СИЛЬНО.

Теперь по php скрипту - тестирую его второй день.

Мое мнение - это вторая линия обороны, ограничение http/2 включать нельзя - толку нет, а юзеры не доходят. Скажем так, процентов 30 от оставшихся он отсекает.

Но те что вас беспокоят, остаются и останутся, потому что скрипт довольно-таки простенький, он от парсеров, а не от вредителей.



Попробуйте поставить задержку на счетчик метрики рандомом, это добавит хаоса.
Вообще попробуйте поработать в направлении вывода метрики по каким-то правилам, которые позволяют вам понять, что перед вами робот, а не человек.

Если закупаете трафик - попробуйте задействовать UTM метки чтобы показывать счетчики тем, за кого вы заплатили. Правда, среди кликающих около 30% ботов.


И кстати, крепко подумайте над тем, чтобы по возможности закрыть свой сайт от Украины.
mrmvd вне форума   Ответить с цитированием
Сказали спасибо:

Реклама
Старый 18.01.2019, 01:59   #22
mr888
Профи
 
Аватар для mr888
 
Регистрация: 16.05.2016
Адрес: Российская Федерация
Сообщений: 170
Репутация: 15500

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Тут нужно думать глубже, вероятно боты с троянских ботнетов, т.е. вредоносное ПО установлено у реальных юзеров, а заходы происходят у них в фоновом режиме.
mr888 вне форума   Ответить с цитированием
Сказали спасибо:
Старый 18.01.2019, 02:33   #23
mrmvd
Дипломник
 
Регистрация: 04.08.2011
Сообщений: 78
Репутация: 2095

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Цитата:
Сообщение от mr888 Посмотреть сообщение
Тут нужно думать глубже, вероятно боты с троянских ботнетов, т.е. вредоносное ПО установлено у реальных юзеров, а заходы происходят у них в фоновом режиме.
А чего тут думать? Скорее всего, на зараженных компах стоят прокси, через которые ходят хацкеры.

Проще всего - снять к такой-то матери метрику и пусть ходят себе строем.

Чисто по сайту - убедиться что он не показывается во фреймах, что в метрике настроена "только этот сайт, 100% точность, учитывать роботов по точным правилам и поведению".

Дальше варианты - жителям Москвы показывать метрику, жителям Парижа - не показывать. Если сайт Московский, то можно и все кроме России закрыть или перекидывать на англоязычную версию без метрики. Вообще море топовых сайтов гугля закрыты для России, а куча российских - для остального мира. Сегодня это везде, и висят они на первых страницах выдачи, и уходить не собираются.

Я вот скажу по своему опыту - московских ip-адресов среди этих гадов пока что минимум: в основном черноземье, Украина и Молдова.
mrmvd вне форума   Ответить с цитированием
Старый 18.01.2019, 05:43   #24
mr888
Профи
 
Аватар для mr888
 
Регистрация: 16.05.2016
Адрес: Российская Федерация
Сообщений: 170
Репутация: 15500

По умолчанию

Цитата:
Сообщение от mrmvd Посмотреть сообщение
А чего тут думать? Скорее всего, на зараженных компах стоят прокси, через которые ходят хацкеры.

Проще всего - снять к такой-то матери метрику и пусть ходят себе строем.

Чисто по сайту - убедиться что он не показывается во фреймах, что в метрике настроена "только этот сайт, 100% точность, учитывать роботов по точным правилам и поведению".

Дальше варианты - жителям Москвы показывать метрику, жителям Парижа - не показывать. Если сайт Московский, то можно и все кроме России закрыть или перекидывать на англоязычную версию без метрики. Вообще море топовых сайтов гугля закрыты для России, а куча российских - для остального мира. Сегодня это везде, и висят они на первых страницах выдачи, и уходить не собираются.

Я вот скажу по своему опыту - московских ip-адресов среди этих гадов пока что минимум: в основном черноземье, Украина и Молдова.
А нафига хацкерам самим то заходить? В ботнете сделали задание машинам, они все сами делают. Снятие метрик вопрос не особо решаем, в том же задании для ботов можно указать после захода с ПС через секунду-2-3 вернуться в серп.
mr888 вне форума   Ответить с цитированием
Старый 18.01.2019, 08:54   #25
Xubart
Аспирант
 
Регистрация: 04.12.2018
Сообщений: 166
Репутация: 2522

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Цитата:
Сообщение от Sergio Suares Посмотреть сообщение
в первый день было 2000 прямых заходов на главную
Перед кодом метрики пропишите условие показа и при отсутствии реферрера с поисковика не показывайте счетчик.

---------- Добавлено 18.01.2019 в 08:55 ----------

Цитата:
Сообщение от Bot Inspector Посмотреть сообщение
с 70% вероятностью это боты яндекса
Бот Яндекса вряд ли приведет к падению позиций в контексте вышеописанного.
Xubart вне форума   Ответить с цитированием
Старый 18.01.2019, 09:28   #26
postavkin
Академик
 
Регистрация: 06.01.2009
Сообщений: 4,794
Репутация: 160632

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Цитата:
Сообщение от Xubart Посмотреть сообщение
Перед кодом метрики пропишите условие показа и при отсутствии реферрера с поисковика не показывайте счетчик.
Я тоже о таком варианте подумал, но, как быть с тем, что много реальных! юзеров приходят без рефа и лояльно относятся к сайту (что логично), тем самым улучшая общие показатели ПФ.
__________________
...
Кто то может помочь найти все зеркала сайта? (ЛС). Спасибо!
postavkin вне форума   Ответить с цитированием
Сказали спасибо:
Старый 18.01.2019, 09:31   #27
Xubart
Аспирант
 
Регистрация: 04.12.2018
Сообщений: 166
Репутация: 2522

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Ничего страшного. В прошлом году работал в компании, так мы на неделю тупо банили тех, кто пришел прямо на главную без реферрера. Атаку отбили - доступ восстановили. Вам же главное выиграть войну, тут без потерь никак. Зато конкурентам не удалось потопить сайт.
Xubart вне форума   Ответить с цитированием
Старый 18.01.2019, 10:15   #28
postavkin
Академик
 
Регистрация: 06.01.2009
Сообщений: 4,794
Репутация: 160632

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Банили или метрику не подгружали?
Тут ещё такой момент, не покажется ли метрике странным, что нет прямых заходов на сайт )) [имхо, это как бы не нормально]
postavkin вне форума   Ответить с цитированием
Старый 18.01.2019, 10:18   #29
mrmvd
Дипломник
 
Регистрация: 04.08.2011
Сообщений: 78
Репутация: 2095

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Цитата:
Сообщение от mr888 Посмотреть сообщение
А нафига хацкерам самим то заходить? В ботнете сделали задание машинам, они все сами делают. Снятие метрик вопрос не особо решаем, в том же задании для ботов можно указать после захода с ПС через секунду-2-3 вернуться в серп.
Я у этих хацкеров не видел яндексовских куков, поэтому сомневаюсь, что они прямо берут и из яндекса приходят, скорее всего реф. подсовывают.
mrmvd вне форума   Ответить с цитированием
Старый 18.01.2019, 10:18   #30
Xubart
Аспирант
 
Регистрация: 04.12.2018
Сообщений: 166
Репутация: 2522

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Мы именно банили.
Причем сначала вносили куку в их броузер на случай смены IP, потом IP в htaccess.
Недели полторы они держались, после чего слились.
Xubart вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 02:28. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны