Как оградить сайт от лишних поисковых ботов и прочего паразитного трафика?

ps Crawl-delay по желанию прописывать иии disallow для нужных ботов удалить :)

Спасибо! А все эти боты слушаются роботс и перестают ходить по сайту? У кого-то есть список IP адресов этих ботов, так же был бы признателен за списки адресов других паразитирующих ботов, например IP адреса разных серверов занимающихся индексированием сайтов (сапа например).

В теории да, в логах не проверял.

сапа просто так сайт индексить не полезет, если он в систему не добавлен

в буржунете нашёл htaccess, посмотри может чем поможет

Сапу я так для примера привёл, мало ли кто куда адрес добавлял... у меня на одном сайте одно время ошивалось куча паразитических ботов я их долгое время скидывал в htaccess файл стал большим около 1250 записей, сам файл (htaccess) около 30 килобайт весил, так вот этот файл тормозил работу сайта (когда файл убирался сайт работал быстрей), в итоге я потом сменил адрес сайта. По этому собственно и интересуюсь насчёт нагрузки, может мне что-то не так показалось или это исключительный случай когда столь много записей. Но тут похоже не тот случай, необходимо ограничить доступ наиболее одиозным поисковым паразитам.

P.S. За файл спасибо.

Drakasmit, За роботов спасибо!

При использование этого файла у меня пропадают картинки, может кто-то подсказать какая конкретная запись препятствует их отображению?

RewriteCond %{HTTP_REFERER} !^$

RewriteCond %{HTTP_REFERER} !^http://(www\.)?netbuilders.org(/)?.*$ [NC]

RewriteRule .*\.(gif|jpe?g|png|bmp)$ [F,NC

semenov, полностью удалить эти три строки? Или достаточно:

?