Спасибо, буду пробовать.
вот это
Я на своём сайте решил проблему установкой на все страницы сайта скрипта АнтиботСкачать здесь можно https://antibot.cloud/
Похоже что скрипт реально работает, даже на бесплатном тарифе, боты заглушку не проходят.Привожу статистику из панели скрипта:http://joxi.ru/a2XZlabsw3qVwrВидно что ботов идёт почти в десять раз больше чем реальных посетителей.
Спустя 13 дней после установки скрипта позиции по всем страницам пошли вверх:http://joxi.ru/ZrJYBOJFw8X6DA
Пока я доволен!
P.S. А здесь ветка с обсуждением скрипта https://searchengines.guru/ru/forum/981615
От самого клоудфларе толку ноль, он ботов не фильтрует. Надо правила вводить, для этого копаться в логах и метрике, блокировать по реферу и IP. То же самое я могу и в htaccess сделать, без КФ.
Ну практически - ботов прямых 3-5% осталось, но думаем как выморозить их. А живой трафик не только из пс, конечно. Но он живой, это проверяем.
Не могли бы поделиться стоп-листом заблокированных ботов, для добавления в клоудфларе?
действительно, получается бестолку с этим бороться.
Вы ссылки можете любые прописать на одном сайте но в метрике за неделю я зафиксировал уже более 600 сайтов-источников, и каждый день новые. Это бот должен уметь имитировать переходы с разных сайтов. Нужна хорошая база сайтов. Кому придёт в голову таким заниматься...
Для начала хорошо бы разобраться, есть ли среди этих адресов пользовательские т.e. те которые возникают в результате пользовательской навигации.
Если есть, то классифицировать их и склеивать 301 редиректами с актуальными адресами целевых, либо дополняющих назначений (т.е. рабочих страниц).
А весь технический и служебный хлам также 301-ым склеить с полезным родительским уровнем, правда для этого нужно конкретно разобраться в структуре вашего сайта.
302 - это временный редирект, он не даст полноценной склейки, а если оставите просто 404-e, то из индекса они конечно повыпадают, но в статистике Вебмастера при переобходе роботом у вас так и будeт болтаться баласт 404-ых результатов. Так что помимо настройки 404-го ответа и редиректов еще необходимо будет проверить, где генерируются подобные ссылки и актуальны ли они сейчас. При нахождении их - купировать возможность их генерации.
Спасибо!
