Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Боты сожрали трафф

C
На сайте с 24.05.2006
Offline
20
cepik
408

В этом месяце очень ожесточенно индексируют мои сайты. Больше всего сожрали Inktomi Slurp (Яху, если я не ошибаюсь) и Unknown robot (identified by 'crawl').

Кто такой crawl? Чей это бот?

Если яху можно спокойно заглушить, то с crawl не знаю что делать и как глушить.

И еще попутно. Как сейчас робота Яндекса зовут? Раньше в логах был sfront.yandex.ru, а сейчас пропал.

scazy
На сайте с 03.10.2006
Offline
17
scazy
#1
cepik:
sfront.yandex.ru

Это название хоста, а не робота

Про Яндекс-бот почитайте здесь

У каждого бота, как и каждого браузера есть переменная окружения User-agent

Из её содержимого можно много чего узнать

Социальный сервис нового поколения Dropp (http://dropp.ru)
O
На сайте с 30.06.2006
Offline
46
Orlangur
#2
cepik:

Чей это бот?

Возможно, webalta. У меня он месяц назад трафа сожрал больше, чем все остальные вместе взятые...

Revan
На сайте с 09.09.2005
Offline
321
Revan
#3

Исходящий траф рулит. Не понимаю что в нем плохого :)

Если жосткий лимит - Htacces'ом режьте всю нечисть (ботов)

Еще поабузить можно на самых бестолковых :)

С уважением, Прокофьев Александр, founder KudaGo.com (http://kudago.com). Отдаем информацию обо всех мероприятиях в РФ + Киев по API (/ru/forum/912869) всем желающим.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий