http://tele-house.ru/crawler.htm

Явно не один запрос в секунду :D

Но в любом случае ничего страшного. Злой IP уже в бане))

Наверное 1 раз в секунду к каждому поддомену. А если их 100 000 на одном сервере....

Если бы у меня яша так глотал страницы, наверное был бы уже миллиардером :D

s91 подскажи plz как его забанить

parabelum1, в .htaccess например

## USER IP BANNING

<Limit GET POST>

 order allow,deny

 deny from *IP*

 allow from all

</Limit>

*IP* - ip адрес того, кому бан

тоже в бан отправил это чудо, и докучи еще 1 такого же: "OOZBOT/0.20 ( _ww.setooz.com/oozbot.html ; agentname at setooz dot_com )"

s91, это какой-то косяк.

Пришлите плз в личку название сайта и кусок лога с урлами. Разберёмся, пофиксим.

Кстати, а сколько у вас сайтов с разными доменами на одном IP?

Я уже разобрался)))

По 300-400 доменов с поддоменами на каждом IP

Тот кусочек что я привел выше - это кусочек статистики запросов к серверу для всех доменов привязанных к нему.

xpro2004, а если не секрет, для чего собирается данная база? Я видел описание, типа поисковая система и т.д. А где она сейчас используется, или для какого проекта будет использоваться? Вы конечно не обязаны отвечать, просто интересно.

s91, это поисковый сервис. Снаружи пока не доступен.

Всё же хотелось бы разобраться в чём у нас проблема, будем очень признательны, если таки пришлёте лог и список поддоменов. Обещаю не разглашать.

xpro2004, ну Вы и жгунишко, почему вдруг s91 должен помогать Вам в создании непонятно чего? Проще забанить.

xpro2004, в любом случае разглашать имена доменов не собираюсь.

То что я заметил, ваш робот пытается проиндексировать вплоть до 5!! уровня вложености, возможно и дальше. И это на сайтах с бесконечным количеством страниц.

Возможно это вам поможет.

Ваш робот пытается индексировать то, чего нет в природе... Т.е. "левые" url'ы...

Пример: /message-1.html а он пытается: /message(a-z, или цифры левые).html или search=абра кадабру впихнуть...

Надеюсь, IP в ближайшее время хотя бы Ваш бот менять не будет...

спасибо

111