garry69

Если не найти явную проблему или правильное положение звёзд, это будет последняя проверка для сайта.

Согласен, не просто только глядя в лог. Тут только некоторые свои системы статы и блокирования ботов. Если надо, вот более приближенный к реальностям и "укороченный" список используемого Яндексом за последние пару месяцев по моей стате с десятка сайтов:

5.45.192.0/18

5.255.192.0/18

37.9.64.0/18

37.140.128.0/18

77.88.0.0/18

84.252.160.0/19

87.250.224.0/19

90.156.176.0/22

93.158.128.0/18

95.108.128.0/17

178.154.128.0/18

213.180.192.0/19

185.32.187.0/24

Да, есть не так много ещё, но есть. Список не сложно составить по своим логам или статистики своих наработок.

Тут яндекс делится некоторыми IP https://yandex.ru/ips

Там пять основных пунктов блокировки по этой проблеме сайта, выше написал. И ни одного в инете сайта заблоченного за капчи и проверки, а их просто море. да и они занимаются (технологии) очисткой трафика, а не другим. Думаю проблема не в антиботах. Очистку трафика давно повесили на админов сами пс.

Так в мане РСЯ по этой блокировке куча пунктов:

В  .htaccess добавьте:

SetEnvIfNoCase User-Agent "^Yandex" search_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=search_bot
</Limit>

Можно менять добавлять и тд.

Если бы сейчас встал вопрос о построить статейник, я бы сделал  Headless с  WordPress или статичный сайт а генератор страниц взял был WordPress. Под все есть готовые решения. Сразу кучу вопросов снимает.

Понравился этот ИИ в плане рефакторинга кода и не самые простые варианты обрабатывает. Как и размер кода "любой", я не давал по 1000 строк, но 500+ точно ест.

Тексты живенько так, промты слушает, но пока не готов дать оценку.

Это какой-то AI бот по таким ссылкам ходит иногда, сходу не помню какой, но закрой от AI, если они не нужны. Этот из понимающих роботс.