flash12320

Вот такой код в индексной странице пускает на сайт только с поиска и внутренние переходы. Туда можно добавить правило с сетками ip ботов...

<?
if (strpos($_SERVER['HTTP_USER_AGENT'], 'yandex.com') == false
    &&strpos($_SERVER['HTTP_USER_AGENT'], 'google.com') == false
    &&strpos($_SERVER['HTTP_USER_AGENT'], 'go.mail.ru') == false
    &&strpos($_SERVER['HTTP_USER_AGENT'], 'Chrome-Lighthouse') == false
    &&strpos($_SERVER['HTTP_USER_AGENT'], 'Mediapartners') == false
)
{if (
  strpos($_SERVER['HTTP_REFERER'], 'yandex.ru') == false
  &&strpos($_SERVER['HTTP_REFERER'], 'yandex.com') == false
  &&strpos($_SERVER['HTTP_REFERER'], 'google') == false
  &&strpos($_SERVER['HTTP_REFERER'], 'go.mail.ru') == false
  &&strpos($_SERVER['HTTP_REFERER'], 'Mediapartners-Google') == false
  &&strpos($_SERVER['HTTP_REFERER'], 'favicon') == false
  &&strpos($_SERVER['HTTP_REFERER'], 'turbotext') == false
  &&strpos($_SERVER['HTTP_REFERER'], 'iframe-toloka.com') == false
  &&strpos($_SERVER['HTTP_REFERER'], $_SERVER['HTTP_HOST']) == false
){
header('HTTP/1.1 403 Forbidden');
exit();
}}
?>

Проверял на разных серверах и разные сайты.

В логах сайта соц сетей нет, а яндекс их как то видит.

Почему то левые заходы из соц.сетей видит только яндекс метрика. В логах апач отследить невозможно ( реферер не фиксируется). Из 2-4 тыщ соц.ботов проскакивают только 20-30 рефереров.

Есть у кого нибудь такая же проблема? Чем можно это объяснить... 

Видимо пришли к выводу что быстрые ссылки могут вводить в заблуждение пользователей. Интересно не появится ли что то подобное у Яши)

По рефереру

Что то похожее у меня тоже вписано в htaccess:

SetEnvIfNoCase User-Agent "svetabot" bad_bot

SetEnvIfNoCase User-Agent "SeopultContentAnalyzer" bad_bot

SetEnvIfNoCase User-Agent "statdom.ru" bad_bot

SetEnvIfNoCase User-Agent "ok.ru" bad_bot

Order Allow,Deny

Allow from all

Deny from env=bad_bot

Не работает.

Попробую ваш способ. Спасибо!

Да, есть кроспостинг и рсс. А как это может влиять...

Обычный ГС после публикаций растет. Скорее всего он не обычный.

Такое заметил уже как год, но не на всех сайтах такое бивает. Падение с 500 до 150-170 уников. Месяц назад для эксперимента, на сайте сделал главную без вывода последних публикаций. Думал поможет ☝

Не тут то было)

Изоляция не причем. Поведение таких переходов резко отличается (по вебвизору) от поведения нормальных посетителей

Тоже заметил резкий рост таких переходов. Скорее всего роботы ПФ портят