Я честно сказать разочарован с серча. Дичь какая-то дичайшая льется в ответы.
Это доры. Их негде и нельзя просто так взять и закешировать в nginx, потому что это будет уже совсем другой порядок затрат на сервера.
LEOnidUKG, настройка сервера в подписи - это ты не свои услуги пиаришь? ))
В данном коде 2 - это Load Average за последнюю минуту. На моих 1 ядерных серверах и моем софте при 2 LA они еще норм работают, но выше начинают подтормаживать.
SocFishing, это первое что я сделал, все легитимные яндекс боты.
проверял и через сервисы и в яндекс вебмастере. все норм.
пока придумал такое решение сдерживания https://pastebin.com/YpBe1HAM 🤣
кстати ресурсы сервера увеличивал в 6 раз, в DO это в пару кликов, в итоге сервер падал не от 300+ обращений в секунду, а от 1200+, но все равно падал.
Miha Kuzmin (KMY), он популярен только у яндекс ботов :D
Solmyr, он ну из головы нагенерили примеров, с кем не бывает )))
Miha Kuzmin (KMY), проблема в том, что яндекс выкачивает в сутки в 5 раз больше страниц, чем их есть на сервере, причем не левых неучтенных страниц, а все как надо по списку реальных страниц, но ни мне ни яндексу по логике это не надо, и нужно как-то "сказать" яндексу, чтоб он не качал так активно. Какой мне специалист для этого нужен?
Оптимизайка, так вы мне предложили тоже самое, я на пхп только 503 ошибку отдаю яндекс боты иногда.---------- Добавлено 29.10.2018 в 18:44 ----------
специалиста, который будет вместо меня добавлять сайты в яндекс вебмастер? 🤣 У вас есть такой за 5$ ?
Miha Kuzmin (KMY), в вебмастер не могу по идеологическим соображениям, буду и дальше банить 10% запросов :D
Оптимизайка, запрос идет к пхп, пхп берет данные в мемкешеде. Когда количество обращений адекватное, то данные такие:
Время ответа сервера 90 мс
Время генерации страницы: 0.0061 Sec.
Потребление памяти: 380.5156 Kb.
Last-Modified/If-Modified-Since выставлено, с If-Modified-Since кстати приходит только 0.005% ботов.
Оптимизайка, количество страниц вполне адекватное, но яндекс их качает по 5 раз в день минимум, сейчас когда дропаю 10% обращений, если не дропать, он бы каждую страницу выкачал еще больше.
header'ы Expires Last-Modified и даже Cache-Control установлены чтоб он не являлся сюда в ближайшие дней 10, но все равно в среднем приходится 5 запросов на страницу.
Перекешировать в nginx все запросы я уже не могу, вся оперативка и так потрачена.
