Яндекс бота теперь никак не остановить?

foxi, а зачем? Если ваш сайт не способен даже индексирование пережить, однозначно надо что-то "в консерватории" поправить, например кэширование сделать.

Оптимизайка, 20к запросов в минуту от яндекса периодически идет. Яндекс боты легитимные, логировал, проверял. вдс за 5$ :D Все оптимизировано и настроено. Но 250 пхп процессов не справляются, в итоге ни себе ни другим ботам сервер не работает.

Хорошая, годная тема. И единственным выходом выглядит lm/ims/304. Ну и/или кеширование. Но вдруг есть идеи лучше?

foxi, если использовать кэширование на уровне nginx, ни каких "250 php процессов" не будет.

Тем не менее, 300 запросов в секунду - это явный overkill, такого я не видел. Обычно ну 30 бывает на сайтах с большим количеством страниц. Скорость обхода зависит от их количества. Возможно, у вас открыто много мусорных, технических страниц, дублей. Попробуйте через robots.txt их скрыть.

Miha Kuzmin (KMY), сервер кеширован и оптимизирован, все данные к которым идет обращение уже и так в мемкешеде, но поведение яндекса не адекватно в количестве и скорости запросов, причем выкачивает одно и тоже по 5 раз в сутки. Увеличу ресурсы сервера - он просто сможет выкачать еще больше.

Для многих проектов не подходит в принципе(

---------- Добавлено 29.10.2018 в 16:59 ----------

Кешированные данные завешивает? Что-то странно. А там точно в виде запрос -> выдали кеш и все?

Оптимизайка, количество страниц вполне адекватное, но яндекс их качает по 5 раз в день минимум, сейчас когда дропаю 10% обращений, если не дропать, он бы каждую страницу выкачал еще больше.

header'ы Expires Last-Modified и даже Cache-Control установлены чтоб он не являлся сюда в ближайшие дней 10, но все равно в среднем приходится 5 запросов на страницу.

Перекешировать в nginx все запросы я уже не могу, вся оперативка и так потрачена.

Тогда откуда берутся php процессы? Не должно при адекватном кэшировании с помощью memcached доходить до сервера приложений ничего. Заголовок кэшированных ответов Last-Modified/If-Modified-Since выставляется адекватно?

Оптимизайка, запрос идет к пхп, пхп берет данные в мемкешеде. Когда количество обращений адекватное, то данные такие:

Время ответа сервера 90 мс

Время генерации страницы: 0.0061 Sec.

Потребление памяти: 380.5156 Kb.

Last-Modified/If-Modified-Since выставлено, с If-Modified-Since кстати приходит только 0.005% ботов.

foxi, у вас что-то не так в бобине. Лучше в вебмастерский раздел.