Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 18.01.2019, 14:36   #31
weblad
Академик
 
Регистрация: 21.01.2009
Сообщений: 1,044
Репутация: 113100
Отправить сообщение для weblad с помощью Skype™

ТопикСтартер Re: Визиты умных ботов и падение позиций в Яндекс

Друзья, боты заходят в том числе из поисковой выдачи Яндекса, по ключевым поисковым запросам.

1. Отключить ботов в метрике, убрать метрику и т.д., я думаю мало что даст, Метрика не единственный для Яндекса способ оценки поведения посетителей на сайте.

2. Не понятно как определять кто бот, а кто нет, при том, что боты из России, пришли из Яндекса, у всех разные браузеры/ос. Боты выполняют javascript, поддерживают куки.
weblad вне форума   Ответить с цитированием

Реклама
Старый 18.01.2019, 16:33   #32
ValD
Профессор
 
Аватар для ValD
 
Регистрация: 14.06.2007
Адрес: Москва
Сообщений: 653
Репутация: 69273

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Цитата:
Сообщение от weblad Посмотреть сообщение
2. Не понятно как определять кто бот, а кто нет
"хосты разные, страны разные, разные браузеры, разные операционные системы, разные запросы, из поисковой выдачи Яндекса, выполняют javascript, поддерживают куки, cloudflare/яндекс/скрипты не определяют"

Ну хорошо, а как же ботов определяете вы?
Интуиция?
ValD вне форума   Ответить с цитированием
Старый 18.01.2019, 16:53   #33
weblad
Академик
 
Регистрация: 21.01.2009
Сообщений: 1,044
Репутация: 113100
Отправить сообщение для weblad с помощью Skype™

ТопикСтартер Re: Визиты умных ботов и падение позиций в Яндекс

Цитата:
Сообщение от ValD Посмотреть сообщение
"хосты разные, страны разные, разные браузеры, разные операционные системы, разные запросы, из поисковой выдачи Яндекса, выполняют javascript, поддерживают куки, cloudflare/яндекс/скрипты не определяют"

Ну хорошо, а как же ботов определяете вы?
Интуиция?
Показатель отказов в метрике и отсутствие записи сессии в вебвизоре, ну и плюс то, что они заходят на сайт по запросам которые на 30-50 позиции в выдаче
weblad вне форума   Ответить с цитированием
Старый 18.01.2019, 17:42   #34
ValD
Профессор
 
Аватар для ValD
 
Регистрация: 14.06.2007
Адрес: Москва
Сообщений: 653
Репутация: 69273

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Цитата:
Сообщение от weblad Посмотреть сообщение
Показатель отказов в метрике и отсутствие записи сессии в вебвизоре, ну и плюс то, что они заходят на сайт по запросам которые на 30-50 позиции в выдаче
Пробовали именно с этими параметрами идти пинать команду Метрики?

Не "у меня позиции падают из-за ботов", а "у вас не определяются боты с такими-то признаками".
И потом напоминать каждые N дней, что их алгоритм ещё не "обучился" и по-прежнему этих конкретных ботов не распознаёт как ботов.

Подозреваю, им там плевать на позиции кого бы то ни было, а вот конкретные доработки алгоритма фильтрации прикрутить могут.
ValD вне форума   Ответить с цитированием
Старый 18.01.2019, 18:14   #35
postavkin
Академик
 
Регистрация: 06.01.2009
Сообщений: 4,799
Репутация: 160632

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Цитата:
Сообщение от weblad Посмотреть сообщение
Показатель отказов в метрике и отсутствие записи сессии в вебвизоре, ну и плюс то, что они заходят на сайт по запросам которые на 30-50 позиции в выдаче
Я правильно понимаю, если вебвизор не показывает действия пользователя, то это не пользователь, а бот?
__________________
...
Кто то может помочь найти все зеркала сайта? (ЛС). Спасибо!
postavkin вне форума   Ответить с цитированием
Старый 18.01.2019, 18:21   #36
Dram
Академик
 
Регистрация: 28.06.2008
Сообщений: 6,540
Репутация: 388287

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

weblad, установил эти правила в фаервол https://searchengines.guru/showthread.php?t=958253 и забудешь о проблеме.

Только исключи апи своего сервера из правил.
Dram на форуме   Ответить с цитированием
Старый 18.01.2019, 21:20   #37
fliger
Кандидат наук
 
Аватар для fliger
 
Регистрация: 17.09.2015
Сообщений: 389
Репутация: 19885

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Цитата:
Сообщение от weblad Посмотреть сообщение
Хосты разные. Объясните какие именно спец. средства в моей ситуации могут помочь? cloudflare например не может определить, что это боты, яндекс тоже.
Помогут два органа: глаза и мозг. Смотрите IP, проверяете, кому принадлежит. В 99,99% случаев - сети хостера, откуда люди не ходят (вам тут про проси кричать будут). Блокируете ВСЮ сеть. Какое-то время пошаманите и забудете про ботов. Ну, и каждый день придется внимательно просматривать логи. Хотя проще скрипт написать, который будет за вас это делать.
fliger вне форума   Ответить с цитированием
Старый 18.01.2019, 22:20   #38
vga1
Академик
 
Аватар для vga1
 
Регистрация: 18.02.2007
Адрес: Saint-Petersburg
Сообщений: 1,587
Репутация: 199773

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Цитата:
Сообщение от weblad Посмотреть сообщение
Друзья, боты заходят в том числе из поисковой выдачи Яндекса, по ключевым поисковым запросам.

1. Отключить ботов в метрике, убрать метрику и т.д., я думаю мало что даст, Метрика не единственный для Яндекса способ оценки поведения посетителей на сайте.

2. Не понятно как определять кто бот, а кто нет, при том, что боты из России, пришли из Яндекса, у всех разные браузеры/ос. Боты выполняют javascript, поддерживают куки.
По первому пункту способов у Я. несколько: Метрика, liveinternet(писали о сливе данных в Я), Я.броузер (10% всех броузеров) и реклама РСЯ. Теоретически убрать можно все.

По второму, сайт в России, можно скриптом Оптимизайки забанить основные буржуйские AS, откуда боты идут через прокси. Заходы из ботнета не ограничить.

Основная проблема, которую трудно решить, это эмуляция ботом быстрого возврата в SERP и щелчок по другой позиции. Фактически бот сделает щелчок в serp на вашем сайте и через несколько секунд на другом. Тут не понятно, как Яндекс поведенческие оценивает. Пользователь может открыть несколько сайтов одновременно и смотреть результаты. Вероятно, Яндекс такой вариант учитывает и не снизит поведенческие, если не будет обратной связи с сайтом (1 пункт).

Вообщем, можно было бы заменить Метрику на GA, если РСЯ на сайте нет
vga1 вне форума   Ответить с цитированием
Старый 18.01.2019, 23:15   #39
mrmvd
Дипломник
 
Регистрация: 04.08.2011
Сообщений: 78
Репутация: 2095

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Цитата:
Сообщение от vga1 Посмотреть сообщение
По первому пункту способов у Я. несколько: Метрика, liveinternet(писали о сливе данных в Я), Я.броузер (10% всех броузеров) и реклама РСЯ. Теоретически убрать можно все.

По второму, сайт в России, можно скриптом Оптимизайки забанить основные буржуйские AS, откуда боты идут через прокси. Заходы из ботнета не ограничить.
89.151.179.198 - Чебоксары, Ростелеком
176.109.35.117 - Московская область, Кварц
46.164.228.39 - Информсвязь, Воронеж.

Ну как бы и дальше можно скинуть, тыщи две за сегодня наберется.
Белые провайдеры, IP с разной репутацией.
Скрипт Antibot их пропустил
mrmvd вне форума   Ответить с цитированием
Сказали спасибо:
Старый 20.01.2019, 11:31   #40
mrmvd
Дипломник
 
Регистрация: 04.08.2011
Сообщений: 78
Репутация: 2095

По умолчанию Re: Визиты умных ботов и падение позиций в Яндекс

Я пока что все больше начинаю подозревать, что вот эти боты - по факту какой-то префетчинг браузеров, который исполняет JS и поэтому засчитывается в людей, потому что их пропускает не только Antibot, но и Recaptcha v3 и Cloudflare.

Я дорабатывал Antibot на установку гуглевской рекапчи, но толку это не дало. Третья рекапча их считает людьми, а подсовывать им автобусы со светофорами второй рекапчи рука не поднялась, т.к. при её установке ещё сильнее растут отказы среди живых людей, которых метрика таковыми и считает.

В общем, пока что на основании всего этого пришёл к выводу, что аккуратный бан хостеров + антибот + настройки метрики на отсев всех роботов - это самый простой и эффективный способ борьбы с роботами.

Следующим шагом можно манипулировать с выводом метрики и аналитики, подсовывая их только тем, кого вы за людей держите, но опять же на ум кроме черных списков IP и геолокации никаких других правил по отсеву людей от ботов не приходит.

Ну а со стороны фронта можно пробовать подсовывать куку когда у юзера активно окно. Но опять же, я уверен, что в рекапче что-то подобное реализовано.

Последний раз редактировалось mrmvd; 20.01.2019 в 11:52..
mrmvd вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 21:17. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны