Я так борюсь, вам можно просто для главной ограничить, если не все... https://searchengines.guru/ru/forum/1054913/page150#comment_17006983
Через файл были права подтверждены. Добавил по новой и там способ через файл есть. Предупреждения такого не было у меня.
А добавить сайтики надо обратно, иначе индексация, турбо и настройки потеряются. Я так думаю, не будут же они удаленные сайты вечно хранить. В общем, все настройки и стата на месте, кроме турбо, там проверка длинная. Точнее по турбо, вроде только в пункте главная страница лента не построена.
Через чат вопрос не решился. По заявке сроки капец....: По срокам работы не можем сориентировать. Но мы напишем о статусе вашей заявки через 2 недели или раньше, если найдём решение быстрее.В общем пишите в тп.
В итоге, не пришел пока ответ на почту, но в чате посоветовали заново добавить сайт, настройки и и тд все должно вернуться. Сделал, вроде статистика и настройки на месте, пока только бегло пробежал.
Например не так давно один из таких ботов стукнул на один сайтик более 100к раз за сутки. Просто заранее озаботиться возможной нагрузкой и заблочить.
С большой вероятность это будут прямые запросы. В зависимости от сайта, отправлять все прямые на проверку (капча от сервисов или что-то свое) или другой вариант...
Нормально слушают боты ИИ указание в robots.txt. По логам можете посмотреть. Можно или нужно (тут каждый сам), добавить файлик ai.txt, в нем также запрет ботам. Можно в корень, но лучше и удобнее в директорию /.well-known/. Туда вообще можно положить массу интересного. ИИ боты часто обращаются к этому файлу. Содержание ai.txt можно под себя в конструкторах этого файла сделать или качнуть готовый.
я сделал это по Вашему списку так же, и что должно поменяться?) пока ничего не понял
Отвечу, хоть вопрос и не мне :) Смотрите логи сервера, там явно будет видно, что ботам с бетерики отдается 403 ошибка. Если они у вас вообще были на сайте.
А какие проблемы список исключений сделать и ни одного бота не заблокировать полезного. Если самим проблемно, всего знать нельзя, то в сети можно взять 100500 вариантов. Хотя самый оптимальный будет определить бота используя HTTP_USER_AGENT, потом уже сверить со своим массивом полезных ботов (определять по общему чему-то, чтобы не записывать в массив 100500 названий ботов) и решить, пускать на проверку или может пройти без нее на сайт ( не в .htaccess ). Ни один полезный бот никогда не попадет на проверку или в блок, смотря что используете.
Поэтому статика лучше всего, никто через плагины не ломанет. Но это уже совсем другая песня, как такой сайт обновлять.
Никто не мешает использовать WP с плагинами и тд, но как генератор статичных страниц. Причем можно даже на локальном компе или на поддомене и просто автоматически заливать сгенерированные в основной домен. Есть такие плагины. Либо использовать wp как Headless CMS. В общем в этих случаях и плагины есть, конечно ограниченный набор, если не так широки навыки личные, но есть и никто вас не взломает со стороны WP.
