Robots.txt как бороться с googlbot и msn

N
На сайте с 09.06.2012
Offline
63
381

Подскажите пожалуйста прописал в robots.txt на всех сайтах

User-agent: Googlebot

Disallow: /

User-agent: msnbot

Disallow: /

Но эти 2 бота постоянно ползают по сайтам, хотя толку от них никакого нет для моей сетки. Что можно сделать чтоб их убить ?

Вот такие и многие другие:

crawl-66-249-66-180.googlebot.com

msnbot-157-55-35-77.search.msn.com

Как с ними воевать ?

Спасибо

Fesky
На сайте с 08.04.2013
Offline
41
#1

Можно через .htaccess заблокировать ip ботов.

Хотя что в них плохого?!

Рекомендую, 3 года успешного сотрудничества: (реф) Inferno Solutions: Выделенные серверы и VPS по самым низким ценам. От 10$ в месяц! (http://cp.inferno.name/aff.php?aff=1362)
N
На сайте с 09.06.2012
Offline
63
#2

А почему они через роботс лезут?

А зачем они мне нужны если у меня сайты только под яндекс заточены, 0 трафика с гугла все равно, только боты нагрузку создают лишнюю мне на сервак.. Там сайты от 100 к.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий