в firewall rules создайте правило Block. Нажмите edit expression и вставьте
(http.user_agent contains "MJ12bot") or (http.user_agent contains "www.comscore.com") or (http.user_agent contains "SemrushBot") or (http.user_agent contains "GrapeshotCrawler") or (http.user_agent contains "AhrefsBot") or (http.user_agent contains "PetalBot") or (http.user_agent contains "BLEXBot") or (http.user_agent contains "DotBot/1.1") or (http.user_agent contains "Linguee Bot") or (http.user_agent contains "Scrapy") or (http.user_agent contains "Seekport Crawler") or (http.user_agent contains "opensiteexplorer.org") or (http.user_agent contains "python") or (http.user_agent contains "Barkrowler")
Нагрузка ощутимо упадет, бывает и в разы. a ip у них у всех клаудовские если не определять real_ip_header CF-Connecting-IP
Barkrowler - это бот компании eXenSa, компания занимается машинным обучением и анализом текстовых данных. Заявленная цель сканирования: определить семантическую или тематическую направленность веб-сайтов и страниц. Основатель компании Guillaume Pitel (Гийом Питель, француз) придумал алгоритм NCISC (пока нет официально опубликованных данных об этом алгоритме).
https://seo.klimin-viktor.com/barkrowler.html
На разных доменах тонны шлака
Я забиваю куски урл вместе со стоп словами - ищет, спам-скрипты меняются и характерные части можно подобрать - эффективно кстати
И что каждый такое может сделать и всю выдачу заспамить? Это же нужно как-то загнать такие страницы в поиск? Простановка ссылок на эти страницы?
делает прогон - потом спамит по форумам хрумаком для загона в индекс
Да там еще идет какой-то Дизайн человека и они тут же в Гугле по контексту рекламируются.
Мне просто интересно как гугл такие страницы в индекс заносит (с минимальным количеством текста) и выводит в топ (на первой странице также встречаются)?
Домены трастовые - университеты, EDU правительство штатов и пр.
Информационный запрос в Гугл (частотность по Яндексу около 160 000), скриншот страницы №2. ИИ в действии?
да это известный уже batmanapollo - он пол сети уже проспамил через поиск. Было уже и на серче обсуждали, я и у себя проспам этот ловил - но он больше по ультра-трастовым сайтам специализируется, зачастую и в топ 3 бывает с этими "результатами поиска" ))
PS Так Вы же и выкладывали выдачу ))
И где он выводит этот пункт? Как узнали?
Аккаунт >> Правила программы
Подтверждаю, есть такое на некоторых страницах, причем на одних и тех же, появляется-пропадает.
сайты на cloudflare лежат
ps. поторопился - не в cf дело было
Доброго времени. установил код в head, пока никаких изменений
Выслал Вам в личку другой код, чуть измененный - пробуйте его (между head и head устанавливайте). Это проксирование 100 пудей - сам намучился с ним пока скрипт не установил. Заметили что траффик падает, а AdSense высветил что код на других сайтах установлен - так бы и не знал в чем причина.
Тут похожая тема обсуждалась - там код помог https://searchengines.guru/ru/forum/1018490 Может оттуда другой скрипт взять - пробуйте разные
PS после того как установите - новую статью напишите тестовую и кеш сбросьте если есть.
