search spider

Vyacheslav Tikhonov, значит, растет и сам юанет...

Я на это смотрю спокойно... я вообще больше рисовать люблю :) :)

И еще раз: сорри за флуд в топе.

lagif, как представляется Ваш замечательный роботяга?

pro-maker, :) пока он представляется мозиллой :) . Пока другого имени не придумали. Как только все станет официально, мы тут же его переименуем, будьте уверены.

так вы можете быть уже в бане на многих сайтах, не всем нравятся моззилы вытягивающие пол-сайта . Я таких обычно баню.

alyak, бот был раньше под спец. именем. Пока разницы я не вижу. А ваш сайт в Украине?

Слава, а что, добрался и до тебя? ;)

Вообще у меня десяток сайтов. Хостинг за границей , имена украинские.

На самом большом общий размер файлов на выдачу примерно 0.5 Гб , если кто-то дерет целиком то я уже смотрю кто это делает и зачем ему понадобилось это. Не то чтоб жлобство , просто есть народ который прикалывается тем что есть мощный канал и дерет все что попало. Давеча один сайт довели до bandwith limit exceed , пришлось переаспределять траффик между сайтами, а пару часов сайт пролежал из-за этого.

alyak, у вас robots.txt есть? пропишите правила для роботов... :) да и у нас самих есть лимит на размер и глубину чтения контента с каждого сайта.

Да ходит тут, по паре страниц в день снимает. :) Сейчас вообще в логах наблюдается большое количество непонятных роботов, причем местных.

Зачем прописывать правила для роботов ? Реальные поисковики пускай скачивают, мне нужен с них траффик. А вредоносные штуки игнорируют robots.txt . Даже такие примитивные как teleport pro. Проще по IP забанить , даже если весь спул вместе с этим IP , пока не попустит как минимум.