Небольшой совет юзающим Cloudflare. В процессе пропуска через челлендж обнаружили массу ботов различных SEO-сервисов. После того, как их все перебанили, боты, ломающие ПФ, резко пошли на убыль. Возможно, они координируются через внешний анализатор выдачи и когда он ломается, о сайте забывают. Так что советую банить любых ботов кроме краулеров основных поисковых машин.
SSL сертификаты, в этом плане не при делах. При делах GET параметры - страница/?from=webmaster ( ежедневно проиндексирована - удалена) - страница/?added=no&block=premium&pos=1&device=desktop. ( ежедневно проиндексирована - удалена) и тд кучас страниц с GET параметрами - страница/?pm_source=avito.ru&pm_block=none&pm_position=0 ( в поиске, основная страница не качественная, при том, что в robots индексирование запрещено! Почему в поиске? да, потому что связь метрики и вебмастера - количество заходов)
А что вам мешает запретить индексацию get-параметров через robots.txt?
edishe#: Подскажите, а какие настройки в Cloudflare ставили? Как фильтровали?
По всему - UserAgent, Cookie, Referrers, Path. Все пять бесплатных правил пришлось набить. Это не автоматические сервисы, которые у вас на скрине, а firewall rules, которые нужно настроить вручную.
Столкнулись с этой же темой (сайт по бизнес-услугам). Было аналогично: много переходов из соцсетей, переходы с левых сайтов, где ссылок нет, потом начались переходы из Google/ Яндекс, по 3-4 страницы и полторы минуты длинной. Метрика эти посещения ботами не считает, при этом сайт в Яндексе потерял значок «выбор пользователей» и потихоньку падал в выдаче, несмотря на уникальный контент и рост ссылочной массы.
Воткнули бесплатный Cloudflare:
Трафик тут же упал вдвое. При этом длительность сессий выросла на порядок.
99% трафика с андройда не могут пройти капчу – может тупые конечно, но скорее всего боты.
Стало видно, что есть московский и крымский ботнеты. Второй поменьше, потупее и гонит локальные запросы.
После 3-4-х дней блокировки появились заходы из московского ботнета с iOS (много) и десктопов (мало) длительностью менее 30 секунд, но по вебвизору тоже видно, что это боты. Тоже их пробанили.
Но главное - через неделю Cloudflareсайт полез в Яндексе вверх. В топ 50 появилось около 200 новых запросов, в топ 10 вернулось 100. Так что это явно попытка сломать поведенческие факторы и Яша все видит и учитывает, несмотря на отписки поддержки.
Запрещены изначально, бестолку
Странно, конечно. У меня работает. Криво, да, - сначала индексирует, потом выкидывает. Но быстро и автоматически.
SSL сертификаты, в этом плане не при делах. При делах GET параметры
- страница/?from=webmaster ( ежедневно проиндексирована - удалена)
- страница/?added=no&block=premium&pos=1&device=desktop. ( ежедневно проиндексирована - удалена)
и тд кучас страниц с GET параметрами
- страница/?pm_source=avito.ru&pm_block=none&pm_position=0 ( в поиске, основная страница не качественная, при том, что в robots индексирование запрещено! Почему в поиске? да, потому что связь метрики и вебмастера - количество заходов)
А что вам мешает запретить индексацию get-параметров через robots.txt?
можете, пожалуйста, поделиться этими правилами?
Нет. Во-первых они специфичны для нашего сайта, во-вторых я не хочу, чтобы ботоводы посмотрели на чем их ловят и поменяли логику работы.
И после этого прямых заходов ботов больше не идет? Чисто трафик из пс?
Ну практически - ботов прямых 3-5% осталось, но думаем как выморозить их. А живой трафик не только из пс, конечно. Но он живой, это проверяем.
Подскажите, а какие настройки в Cloudflare ставили? Как фильтровали?
По всему - UserAgent, Cookie, Referrers, Path. Все пять бесплатных правил пришлось набить. Это не автоматические сервисы, которые у вас на скрине, а firewall rules, которые нужно настроить вручную.
Столкнулись с этой же темой (сайт по бизнес-услугам). Было аналогично: много переходов из соцсетей, переходы с левых сайтов, где ссылок нет, потом начались переходы из Google/ Яндекс, по 3-4 страницы и полторы минуты длинной. Метрика эти посещения ботами не считает, при этом сайт в Яндексе потерял значок «выбор пользователей» и потихоньку падал в выдаче, несмотря на уникальный контент и рост ссылочной массы.
Воткнули бесплатный Cloudflare:
Но главное - через неделю Cloudflare сайт полез в Яндексе вверх. В топ 50 появилось около 200 новых запросов, в топ 10 вернулось 100. Так что это явно попытка сломать поведенческие факторы и Яша все видит и учитывает, несмотря на отписки поддержки.