Резкий всплеск прямых заходов. Как бороться?

Перепробовав почти все, так и не удалось избавиться от многих ботов.

Даже если разрешить только переходы из поисковых систем и внутренние переходы, то боты в качестве рефера пишут твой сайт (этот же адрес к которому обращаются например). А запретить такие переходы никак нельзя. Капчу же очень многие проходят. Как с такой ситуацией бороться? Может есть идеи у кого-то.

И еще удивительная история. В результате блокировки прямых заходов, с определенных сетей, их количество существенно уменьшилось. Но в Метрике они далеко не все были помечены как роботы (хотя откуда такой вал прямых заходов еще может быть).  Так вот % роботности сайта после всех блокировок никак не уменьшился, а даше стал больше. И как это называется.

Я даже больше скажу: после такой блокировки среднее время на сайте и среднее число посещенных страниц уменьшились.  😀

Это по куке делается. Если зашёл кто-то вроде нормальный - то куку ему. Если зашел с реферером типа внутренний, но без куки - это 100% кто-то балуется, потому что такого быть не может (точнее, может, но живых людей с отключенными куками настолько исчезающе мало, что ими можно пренебречь).

Да, и % отказов вырос. Т.е. по всем показателям качество сайта как-бы ухудшилось. Вот и думай нужна такая блокировка ботов или нет.

За подсказку с куками спасибо. Буду пробовать. Тут главное не напортачить с поисковыми ботами.

Проанализируйте поисковые запросы из Яндекса и самые посещаемые страницы. Может оказаться, что 50% трафика из поиска дают боты. Это можно понять по кривым ключам, слишком высокому CTR и большому количеству трафика по запросам с слишком низкой частотностью.

Яндекс даже из своего поиска НИКАК не может отличить пользователя от бота, что уж говорить про прямые заходы и переходы по ссылкам...

Они уже не нореф - подставляют в реферрер yandex.ru, google.com, bing.com, m.vk.com, m.ok.ru. 

Да, кстати говоря.

Можно же какие угодно заголовки делать. Можно подставить yclid и поисковый запрос. Я так понимаю, что даже если на самом деле такого визита в Яндексе не было, то из логов часть таких запросов подгружаются нормально в метрику.

Ну вопрос тот же. Раньше помогало скрытие Метрики для noref и подозрительных, сейчас кажется не помогает. После навала сотен ноурефов в день проседали на 30-50%, после скрытия - возвращались быстро. Нынче не работает.

я уже давно все отключил, пусть заходят боты...и неделю-две метрика стала показывать эти заходы как абсолютно нормальные, с 3-5 % ботности (хотя там 100%)

Задам вопрос в этой ветке тоже. После настройки CloudFlare в Google PageSpeed появилось "Задайте правила эффективного использования кеша для статических объектов Найдено 18 ресурсов". Файлы: .js, .png, .jpg, .svg. Пробовал менять почти все настройки - ничего не помогло. В целом в Google PageSpeed все параметры устраивают, но хотелось бы разобраться в данном вопросе. Заранее спасибо за помощь!

Уважаемые специалисты, было ли у вас что-то подобное - мало того, что прямых заходов пустых крайне много стало, так еще переходы по урлам, которых у нас на сайте просто не может быть. То есть в урл нашего сайта подставляется урл совершенно другого. Например " /detail/khalat-velyurovyy-na-pugovitsakh-pod-zakaz-662-6-694946/" - а у нас сайт электроники, никаких халатов, платьев и шапок (а такие урлы есть и все конечно 404) и таких страниц каждый день сотни. Это тоже какие-то боты делают?