Причем тут ПС? Все достаточно проще. если от кого то ушло, значит кому то пришло.
9 числа боты пошли массово на другие сайты, как прямые, так и переходы с сайтов. тут обсуждали нашествие.
если вы думаете что метрика не учитывает ботов, то посмотрите на нагрузку на сервер - если она упала, боты отпали и не доходят до сайта.
а если якобы метрика не учитывает ботов но они есть, то обращения к сайту получается никуда не делись.
я заблокировал ботов исключительно самых явных: битерики и их подобные , сайты анализаторы. Когда я начал более точечно блочить (поставил капчу) по ASN всякие OJSC Rostelecom Macroregional Branch South Роботность стала 4-5% + я получил практически полное уничтожение сайта , т.к за ботами в блок улетели обычные юзеры. Вот и все. Все эти блокировки - не панацея В среднем процент роботности метрики сейчас 20%.
нужно в связке ASN + прямой заход + URL - действие (как пример)
Я и не прошу под ключ. В каждом разделе есть обсуждения ботов и как с ними бороться. Все пишут разное, я читаю и пробую применить у себя.
У меня ситуация такая: из ниоткуда привалили боты "переходы с сайтов" (как известных, так и неизвестных). По статистике выходит 4-5% в источниках трафика, в числовом выражении - 900-1000 посещений в сутки. Роботность по метрике - 1%.
Мне нужно беспокоиться с такими показателями или нет? Влияют ли они на выдачу? Неделю назад их было ноль. В ловушку для ботов они не ловятся.
Вам вообще стоить беспокоиться что боты создают нагрузку на сервер. Боты с фейк сайтов сегодня не делают отказы, а завтра рушат сайт и влияют на выдачу.Роботность в метрике - бесполезная фишка.
Вы делаете правило: которое дает капчу всем зонам типо .ru .com и так далее (есть два варианта написать его и один из них обсуждался в этой ветке) - предварительно выше referer домены ПС в исключение как минимум. И все - трафик с фейк сайтов на капче отсеивается и тут неважно с какой сети они. Нужные сайты выше в белый лист.
Проблема в чём? Что нет единой инструкции как бороться с ботами и все пишут разное на 150+ страницах
Выше Александр Вам ответил, все достаточно понятно и правильно. 7 раз собираете логи, 1 раз блокируете ботов.
Никто Вам под ключ не будет разжевывать что нужно делать. Есть база данных, с ними и работайте.
так блокируйте точечно, в чем проблема?) отложенной загрузкой вы ботов не блокируете, а просто не даете показаться им в метрике. РТ боты обычно ходят на одинаковые URL и блочатся точечными правилами через and и даже с капчей клауда, но не все.
Нужно смотреть не вырезку, а полные правила. Могут просто заходы под Ваши условия не попадать. А если уверены что попадают, то просто отключаете SSL со стороны хостера старый бесплатный и правильно настраиваете режим Full SSL. Клауд сам выдает бесплатный SSL. Бывает такое что боты идут по старому SSL, минуя клауд. В логах сервера заходы есть, в метрике есть, а в клауде пусто. Мелочь, но ..
В Interactive Challenge (капча) можно попробовать добавить:
Вместо "/url/" часть адреса страницы, чтобы КФ показывал капчу всем, кто не из гугла и яндекса.
только еще в это правило нужно добавить ботов ПС или через Known Bots (нежелательно) или число AS Сети. В идеале видеть все правила пользователя)
Да, вчера был наплыв большой - много людей писали, битерика и мегафон боты, скоро чет интересное будет
