на 90% будут на сайтеПлохо читаешь: Там одновременно два условия - Без реф & Ботовые IP
PS- Но, бан ботов ничего не дает, так как Яндекс все равно их учитывает- Но, даже если ботов выключить!! Совсем их нет на хостинге. Сайт все равно медленно и неуклонно просаживается вниз, начиная с НЧ. В топ1 опять вылезли статейники, которых давно уже не было. Похоже, как раз, они и крутят усиленно ПФ
Вот такой код в индексной странице пускает на сайт только с поиска и внутренние переходы. Туда можно добавить правило с сетками ip ботов...
<?if (strpos($_SERVER['HTTP_USER_AGENT'], 'yandex.com') == false &&strpos($_SERVER['HTTP_USER_AGENT'], 'google.com') == false &&strpos($_SERVER['HTTP_USER_AGENT'], 'go.mail.ru') == false &&strpos($_SERVER['HTTP_USER_AGENT'], 'Chrome-Lighthouse') == false &&strpos($_SERVER['HTTP_USER_AGENT'], 'Mediapartners') == false){if ( strpos($_SERVER['HTTP_REFERER'], 'yandex.ru') == false &&strpos($_SERVER['HTTP_REFERER'], 'yandex.com') == false &&strpos($_SERVER['HTTP_REFERER'], 'google') == false &&strpos($_SERVER['HTTP_REFERER'], 'go.mail.ru') == false &&strpos($_SERVER['HTTP_REFERER'], 'Mediapartners-Google') == false &&strpos($_SERVER['HTTP_REFERER'], 'favicon') == false &&strpos($_SERVER['HTTP_REFERER'], 'turbotext') == false &&strpos($_SERVER['HTTP_REFERER'], 'iframe-toloka.com') == false &&strpos($_SERVER['HTTP_REFERER'], $_SERVER['HTTP_HOST']) == false){header('HTTP/1.1 403 Forbidden');exit();}}?>
турбо страницы например. ну или чтото вы не то смотрите в логах, может у вас логи такие не полные.
Проверял на разных серверах и разные сайты.
В логах сайта соц сетей нет, а яндекс их как то видит.
Почему то левые заходы из соц.сетей видит только яндекс метрика. В логах апач отследить невозможно ( реферер не фиксируется). Из 2-4 тыщ соц.ботов проскакивают только 20-30 рефереров.
Есть у кого нибудь такая же проблема? Чем можно это объяснить...
По рефереру
Что то похожее у меня тоже вписано в htaccess:
SetEnvIfNoCase User-Agent "svetabot" bad_bot
SetEnvIfNoCase User-Agent "SeopultContentAnalyzer" bad_bot
SetEnvIfNoCase User-Agent "statdom.ru" bad_bot
SetEnvIfNoCase User-Agent "ok.ru" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot
Не работает.
Попробую ваш способ. Спасибо!
Да, есть кроспостинг и рсс. А как это может влиять...
Обычный ГС после публикаций растет. Скорее всего он не обычный.
Такое заметил уже как год, но не на всех сайтах такое бивает. Падение с 500 до 150-170 уников. Месяц назад для эксперимента, на сайте сделал главную без вывода последних публикаций. Думал поможет ☝
Не тут то было)
Изоляция не причем. Поведение таких переходов резко отличается (по вебвизору) от поведения нормальных посетителей
Тоже заметил резкий рост таких переходов. Скорее всего роботы ПФ портят
