Inktomi Slurp Затюкал уже мои сайты

152

duddy

11 июня 2008, 10:04

474

Народ подскажите как справится с ботом Inktomi Slurp(так он у меня в awstats значится)?

а то нагрузка на проц скоро станет просто безбожной.

вот копия с логов:

HTTP/1.0" 200 10661 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

в роботс.txt может такую строку закинуть ?

User-Agent: Slurp

Disallow: /

[Удален]

11 июня 2008, 10:09

#1

duddy:
в роботс.txt может такую строку закинуть ?
User-Agent: Slurp
Disallow: /

Все верно, так и делайте.

152

duddy

11 июня 2008, 10:14

#2

как быстро ждать результата от изменений в роботсе ? ведь робот наверное не сразу подчиняется директив, а продолжает какоето время обрабатывать уже накопившиеся ссылки в памяти ?

211

Talisman13

11 июня 2008, 10:17

#3

duddy, про яндекс могу сказать, что тот сразу в начале посещения смотрит файл роботс.

Наверное так же и с этим роботом. Ведь все ПС по практически единой схеме работают.

174

Astaldo

11 июня 2008, 11:55

#4

User-agent: Slurp

Disallow: /

Отсюда

Live as if you were to die tomorrow. Learn as if you were to live forever. Mahatma Gandhi

152

duddy

11 июня 2008, 14:13

#5

Огромное человеческое спасибо всем кто ответил о результатах отпишусь,

и хотелось бы отдельно поблагодарить тех кто мне за что то репу в этом топике заминусовал!

Вы бы хоть подписались уважаемый.

Курс биткоина превысил $50 тысяч

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы