Странно, конечно. У меня работает. Криво, да, - сначала индексирует, потом выкидывает. Но быстро и автоматически.
SSL сертификаты, в этом плане не при делах. При делах GET параметры- страница/?from=webmaster ( ежедневно проиндексирована - удалена)- страница/?added=no&block=premium&pos=1&device=desktop. ( ежедневно проиндексирована - удалена) и тд кучас страниц с GET параметрами- страница/?pm_source=avito.ru&pm_block=none&pm_position=0 ( в поиске, основная страница не качественная, при том, что в robots индексирование запрещено! Почему в поиске? да, потому что связь метрики и вебмастера - количество заходов)
А что вам мешает запретить индексацию get-параметров через robots.txt?
можете, пожалуйста, поделиться этими правилами?
Нет. Во-первых они специфичны для нашего сайта, во-вторых я не хочу, чтобы ботоводы посмотрели на чем их ловят и поменяли логику работы.
И после этого прямых заходов ботов больше не идет? Чисто трафик из пс?
Ну практически - ботов прямых 3-5% осталось, но думаем как выморозить их. А живой трафик не только из пс, конечно. Но он живой, это проверяем.
По всему - UserAgent, Cookie, Referrers, Path. Все пять бесплатных правил пришлось набить. Это не автоматические сервисы, которые у вас на скрине, а firewall rules, которые нужно настроить вручную.
Столкнулись с этой же темой (сайт по бизнес-услугам). Было аналогично: много переходов из соцсетей, переходы с левых сайтов, где ссылок нет, потом начались переходы из Google/ Яндекс, по 3-4 страницы и полторы минуты длинной. Метрика эти посещения ботами не считает, при этом сайт в Яндексе потерял значок «выбор пользователей» и потихоньку падал в выдаче, несмотря на уникальный контент и рост ссылочной массы.
Воткнули бесплатный Cloudflare:
Но главное - через неделю Cloudflare сайт полез в Яндексе вверх. В топ 50 появилось около 200 новых запросов, в топ 10 вернулось 100. Так что это явно попытка сломать поведенческие факторы и Яша все видит и учитывает, несмотря на отписки поддержки.
