progress

Elizov:
- кстати, уже имеются некоторые мысли на этот счет, но опять же - а если паук не "поймет" и отреагирует как на запрет?

Elizov:
Не совсем так - на моем хостинге чем быстрее, тем лучше. А если задерживать контент искуственно, например так - <?php sleep(1) ?>, то только хуже будет, т.к. в формулу расчета нагрузки хостинга входит время исполнения скрипта.

А контент сайта специфичный - страницы берутся с удаленного сервера, потому время исполнения приличное - 0.5-1 сек. Понятно, что прямой нагрузки на процессор сервера практически нет, но формула берет это самое суммарное время исполнения скриптов за 15 минут и выдает уже в предупреждении о нагрузке. К примеру, яндекс прошелся по 200 страницам за 7 минут, и создал в панели вот такую строчку:

Начало периода Конец периода Процент нагрузки Процессорное время LA сервера
007-06-17 20:15:01 2007-06-17 20:30:01 8.97 % 2.69 min 4.25

Не будь он (яндекс) таким стремительным, не было бы и предупреждений.🙅

У меня на виртуалке роботы Яндекса в сутки индексируют около 40.000 страниц (на 4 доменах) и никакой нагрузки и никаких жалоб от хостера

Elizov:
Собственно дело в том что яндекс, юзер-агент Yandex/1.01.001 (compatible; Win16; I) довольно таки успешно создает нагрузки своими "набегами" длящимися примерно минут по 15-20. "Дергает" страницы практически без пауз, в лучшем случае 2 секунды между запросами, забирает несколько сотен, потом перерыв. Через час-два-день снова. Иногда и целыми часами терроризирует. Сегодня ночью вообще DDoS-ил фактически в течении нескольких часов причем по часу дергал корневые страницы субдоменов с динамическим контентом - зачем???

Гугль в отличии от яндекса те же сотни страниц скачивает очень деликатно - в течении дня примерно по странице-две в минуту - и никаких проблем. В общем я где-то читал что паукам можно (было?) указать некую директиву влияущую/изменяющую время между запросами к серверу.

Сразу говорю - смотрел на сайте яндекса, данный форум, пробовал поиском - ничего.
Если кто-то в курсе, пожалуйста помогите, постоянно возникающие нагрузки уже в печенках сидят, да и хостер тоже на меня давит :(

Jefa:
Если алекса меньше 100 тысяч - проект можно считать довольно успешным ;)

Цитата из вики

Значит ваш сайт на 4658665 месте среди всех известных алексе сайтов по посещаемости.
Чем больше народу заходит, тем меньше число

Нашол человека который может написать код на неиндэксацию страниц на сайте, а так же код на неиндэксацию какого то участка текста на странице.

kostich:
все обновляйте, в т.ч. и пехапе и все либы которые оно использует.

redak:
Это не школьники, это пьяные студенты, скоро заснут.:)