Solmyr, он ну из головы нагенерили примеров, с кем не бывает )))
Miha Kuzmin (KMY), проблема в том, что яндекс выкачивает в сутки в 5 раз больше страниц, чем их есть на сервере, причем не левых неучтенных страниц, а все как надо по списку реальных страниц, но ни мне ни яндексу по логике это не надо, и нужно как-то "сказать" яндексу, чтоб он не качал так активно. Какой мне специалист для этого нужен?
Оптимизайка, так вы мне предложили тоже самое, я на пхп только 503 ошибку отдаю яндекс боты иногда.---------- Добавлено 29.10.2018 в 18:44 ----------
специалиста, который будет вместо меня добавлять сайты в яндекс вебмастер? 🤣 У вас есть такой за 5$ ?
Miha Kuzmin (KMY), в вебмастер не могу по идеологическим соображениям, буду и дальше банить 10% запросов :D
Оптимизайка, запрос идет к пхп, пхп берет данные в мемкешеде. Когда количество обращений адекватное, то данные такие:
Время ответа сервера 90 мс
Время генерации страницы: 0.0061 Sec.
Потребление памяти: 380.5156 Kb.
Last-Modified/If-Modified-Since выставлено, с If-Modified-Since кстати приходит только 0.005% ботов.
Оптимизайка, количество страниц вполне адекватное, но яндекс их качает по 5 раз в день минимум, сейчас когда дропаю 10% обращений, если не дропать, он бы каждую страницу выкачал еще больше.
header'ы Expires Last-Modified и даже Cache-Control установлены чтоб он не являлся сюда в ближайшие дней 10, но все равно в среднем приходится 5 запросов на страницу.
Перекешировать в nginx все запросы я уже не могу, вся оперативка и так потрачена.
Miha Kuzmin (KMY), сервер кеширован и оптимизирован, все данные к которым идет обращение уже и так в мемкешеде, но поведение яндекса не адекватно в количестве и скорости запросов, причем выкачивает одно и тоже по 5 раз в сутки. Увеличу ресурсы сервера - он просто сможет выкачать еще больше.
Оптимизайка, 20к запросов в минуту от яндекса периодически идет. Яндекс боты легитимные, логировал, проверял. вдс за 5$ :D Все оптимизировано и настроено. Но 250 пхп процессов не справляются, в итоге ни себе ни другим ботам сервер не работает.
maksutka, сайт сайт платежной системы кто повесил вы или тот кто взхомал хостинг?
А в кеше гугла и яндекса что по домену находится?
