Elizov: Не совсем так - на моем хостинге чем быстрее, тем лучше. А если задерживать контент искуственно, например так - <?php sleep(1) ?>, то только хуже будет, т.к. в формулу расчета нагрузки хостинга входит время исполнения скрипта.
А контент сайта специфичный - страницы берутся с удаленного сервера, потому время исполнения приличное - 0.5-1 сек. Понятно, что прямой нагрузки на процессор сервера практически нет, но формула берет это самое суммарное время исполнения скриптов за 15 минут и выдает уже в предупреждении о нагрузке. К примеру, яндекс прошелся по 200 страницам за 7 минут, и создал в панели вот такую строчку:
Начало периода Конец периода Процент нагрузки Процессорное время LA сервера
007-06-17 20:15:01 2007-06-17 20:30:01 8.97 % 2.69 min 4.25
Не будь он (яндекс) таким стремительным, не было бы и предупреждений.🙅
Верно, про общее время исполнения я не подумал, я думал у вас проц грузится сильно.
У меня на виртуалке роботы Яндекса в сутки индексируют около 40.000 страниц (на 4 доменах) и никакой нагрузки и никаких жалоб от хостера
Все зависит от страницы, есть очень тяжелые в плане генерации
Elizov: Собственно дело в том что яндекс, юзер-агент Yandex/1.01.001 (compatible; Win16; I) довольно таки успешно создает нагрузки своими "набегами" длящимися примерно минут по 15-20. "Дергает" страницы практически без пауз, в лучшем случае 2 секунды между запросами, забирает несколько сотен, потом перерыв. Через час-два-день снова. Иногда и целыми часами терроризирует. Сегодня ночью вообще DDoS-ил фактически в течении нескольких часов причем по часу дергал корневые страницы субдоменов с динамическим контентом - зачем???
Гугль в отличии от яндекса те же сотни страниц скачивает очень деликатно - в течении дня примерно по странице-две в минуту - и никаких проблем. В общем я где-то читал что паукам можно (было?) указать некую директиву влияущую/изменяющую время между запросами к серверу.
Сразу говорю - смотрел на сайте яндекса, данный форум, пробовал поиском - ничего.
Если кто-то в курсе, пожалуйста помогите, постоянно возникающие нагрузки уже в печенках сидят, да и хостер тоже на меня давит :(
Можно скриптом ограничить скачивание, замедляя скорость отдачи контента сильно желающим
- кстати, уже имеются некоторые мысли на этот счет, но опять же - а если паук не "поймет" и отреагирует как на запрет?
Поймет, если даже не поймет - то заберет контент, Вам надо только научить движок правильно отдавать 304
А 304 статус чтоб отдавало реально прикрутить к движку?
Не совсем так - на моем хостинге чем быстрее, тем лучше. А если задерживать контент искуственно, например так - <?php sleep(1) ?>, то только хуже будет, т.к. в формулу расчета нагрузки хостинга входит время исполнения скрипта.
А контент сайта специфичный - страницы берутся с удаленного сервера, потому время исполнения приличное - 0.5-1 сек. Понятно, что прямой нагрузки на процессор сервера практически нет, но формула берет это самое суммарное время исполнения скриптов за 15 минут и выдает уже в предупреждении о нагрузке. К примеру, яндекс прошелся по 200 страницам за 7 минут, и создал в панели вот такую строчку:
Начало периода Конец периода Процент нагрузки Процессорное время LA сервера
007-06-17 20:15:01 2007-06-17 20:30:01 8.97 % 2.69 min 4.25
Не будь он (яндекс) таким стремительным, не было бы и предупреждений.🙅
Верно, про общее время исполнения я не подумал, я думал у вас проц грузится сильно.
Все зависит от страницы, есть очень тяжелые в плане генерации
Собственно дело в том что яндекс, юзер-агент Yandex/1.01.001 (compatible; Win16; I) довольно таки успешно создает нагрузки своими "набегами" длящимися примерно минут по 15-20. "Дергает" страницы практически без пауз, в лучшем случае 2 секунды между запросами, забирает несколько сотен, потом перерыв. Через час-два-день снова. Иногда и целыми часами терроризирует. Сегодня ночью вообще DDoS-ил фактически в течении нескольких часов причем по часу дергал корневые страницы субдоменов с динамическим контентом - зачем???
Гугль в отличии от яндекса те же сотни страниц скачивает очень деликатно - в течении дня примерно по странице-две в минуту - и никаких проблем. В общем я где-то читал что паукам можно (было?) указать некую директиву влияущую/изменяющую время между запросами к серверу.
Сразу говорю - смотрел на сайте яндекса, данный форум, пробовал поиском - ничего.
Если кто-то в курсе, пожалуйста помогите, постоянно возникающие нагрузки уже в печенках сидят, да и хостер тоже на меня давит :(
Можно скриптом ограничить скачивание, замедляя скорость отдачи контента сильно желающим
Почитайте здесь, найдете ответ на свой вопрос
/ru/forum/optimization-practices/private
Если алекса меньше 100 тысяч - проект можно считать довольно успешным ;)
Цитата из вики
Ага, точно, уже нашел :) спс
/ru/forum/50947
Чем больше народу заходит, тем меньше число
😮
А посещаемость то здесь причем? Как он узнает о посещаемости?
А к шаманам не пробовали обращатся - чтоб отвадили пауков от вашего сайта, так сказать провели обряд отворота?
все обновляйте, в т.ч. и пехапе и все либы которые оно использует.
Пересобрал пхп, старый вообще потер нахрен - вроде пока нет этих <defunct>. Спасибо :)
Это не школьники, это пьяные студенты, скоро заснут.:)
Студенты, особенно пьяные, если уж не совсем трупы, засыпают обычно под утро - ночью движуха 😎 Помню по себе 😂