С большой вероятность это будут прямые запросы. В зависимости от сайта, отправлять все прямые на проверку (капча от сервисов или что-то свое) или другой вариант...
Нормально слушают боты ИИ указание в robots.txt. По логам можете посмотреть. Можно или нужно (тут каждый сам), добавить файлик ai.txt, в нем также запрет ботам. Можно в корень, но лучше и удобнее в директорию /.well-known/. Туда вообще можно положить массу интересного. ИИ боты часто обращаются к этому файлу. Содержание ai.txt можно под себя в конструкторах этого файла сделать или качнуть готовый.
я сделал это по Вашему списку так же, и что должно поменяться?) пока ничего не понял
Отвечу, хоть вопрос и не мне :) Смотрите логи сервера, там явно будет видно, что ботам с бетерики отдается 403 ошибка. Если они у вас вообще были на сайте.
А какие проблемы список исключений сделать и ни одного бота не заблокировать полезного. Если самим проблемно, всего знать нельзя, то в сети можно взять 100500 вариантов. Хотя самый оптимальный будет определить бота используя HTTP_USER_AGENT, потом уже сверить со своим массивом полезных ботов (определять по общему чему-то, чтобы не записывать в массив 100500 названий ботов) и решить, пускать на проверку или может пройти без нее на сайт ( не в .htaccess ). Ни один полезный бот никогда не попадет на проверку или в блок, смотря что используете.
Поэтому статика лучше всего, никто через плагины не ломанет. Но это уже совсем другая песня, как такой сайт обновлять.
Никто не мешает использовать WP с плагинами и тд, но как генератор статичных страниц. Причем можно даже на локальном компе или на поддомене и просто автоматически заливать сгенерированные в основной домен. Есть такие плагины. Либо использовать wp как Headless CMS. В общем в этих случаях и плагины есть, конечно ограниченный набор, если не так широки навыки личные, но есть и никто вас не взломает со стороны WP.
Всем привет. Аналогичная картина: информационный блог, ведётся с 2019 г. До 2021 выпуски были нечастыми и по разным темам. С конца 2021 выпуски стали чаще и все на компьютерную тематику: как сделать то-то в Windows, как скачать, как исправить ошибку и т.д. Трафик с 2500 уникумов в сутки активно скатывается и стремится к сотне и далее как я понял к нулю. Тенденция пошла примерно с января 2024 г. По позициям просадка по 99% статейных страниц. Позиции по основным запросам все улетели минимум в ТОП-20, большая часть ещё дальше или за пределы ТОП-100. В ТОП-1 из основных наблюдаемых запросов (назовём "фокусных") остался только 1 запрос. В ТОП-10 также 1 из более сотни, которые уже по 2-3 года плотно сидели на высоких позициях.
Меня беспокоило уже с 2022 года большой наплыв прямых переходов на некоторые страницы. Как будто боты куку нагуливали. Отказы минимальные, прямо всё хорошо. Но количество таких переходов плавно стало превышать количество поискового трафика. Я уже раза 3 об этом писал в поддержку вебмастера и на всё один и тот же ответ - ничего страшного, наши алгоритмы умеют отличать ботов и вам не нужно бояться каких-либо санкций за накрутку и т.д. Вот сейчас прямые переходы после некоторого падения снова выросли. Почти совпало с существенным падением поискового трафа. Ни у кого не замечалось подобное? Мало ли топят за ложную накрутку ПФ? Ведь нихера их алгоритмы толком ничего отличать не умеют и больше чем уверен что когда прямых заходов более 50% с отказами менее 5-10%, то прямо очень смахивает на накрутку. С другой стороны кому нахрен эта накрутка сдалась в информационных нишах, где ещё и конкуренция не жёсткая.
Целая большая тема про прямые... https://searchengines.guru/ru/forum/1054913/page150
Вам сюда - https://searchengines.guru/ru/forum/1003031
Там конкретно о стате РСЯ, тут, насколько вижу, про метрику. Но я не против, если получить ответ можно везде:)
Простой вариант скрптика тут. Немного время выбрал и выложил простейший вариант без статы, но есть и другие с настройками и тд, Как время появится дооформлю их. Результаты работы не плохие, а если учесть, что пара сайтов начали после падения возвращать трафик, радует. Насчет трафика, совпадение или реально фильтрация тысяч ботов с прямых помог, пока не скажу точно, время не так много прошло.
