Форум Не про работу Самое разное

Баним ботов

A
На сайте с 12.05.2004
Offline
176
alexseo
848

Не все боты одинаково полезны. Некоторые жрут траф, причем хорошо жрут, а посетителей не дают. Особо достает psbot с picsearch.com, нужен ли он? Кого не стоит банить кроме яндекса, гугла, рамблера, яху, мсн, апорта? Сайты русскоязычные.

MyOST
На сайте с 22.01.2006
Offline
559
MyOST
#1
alexseo:
Особо достает psbot с picsearch.com, нужен ли он?

я уже давно его в бан поставил, ибо действительно жрал много...

остальные не частые посетители, но и толку от них нет никакого...

Примеры никаких : :)

findlinks - http://wortschatz.uni-leipzig.de/findlinks/

MJ12bot - http://majestic12.co.uk/bot.php

Sensis Web Crawler - search_comments@sensis.com.au

ASPseek - хз

appie 1.1 - www.walhello.com

Nutch - http://lucene.apache.org/nutch/bot.html

ichiro crawler - http://help.goo.ne.jp/door/crawler.html

Вот эти заходят раз в день/два... толку никакого...

Вебальта конечно есть еще много :) а трафа не дает, но банить не буду...

Блог (http://seom.info/) | Ты уже SEO профессионал? (http://www.key-collector.ru/) Развиваем семантику более 8 лет! ()
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
Y
На сайте с 02.01.2006
Offline
138
Yukko
#2

http://yukko.kiev.ua/robots.txt

MoMM
На сайте с 16.06.2006
Offline
727
MoMM
#3
Yukko:
http://yukko.kiev.ua/robots.txt

офигительно! спасибо огромное и респект! вот это работа! :)

MyOST
На сайте с 22.01.2006
Offline
559
MyOST
#4
Yukko:
http://yukko.kiev.ua/robots.txt

там не только боты, но и программы, насколько я понимаю.

телепорту действительно пофиг на указание того что ему нельзя там качать?

A
На сайте с 12.05.2004
Offline
176
alexseo
#5
MyOST:
там не только боты, но и программы, насколько я понимаю.

телепорту действительно пофиг на указание того что ему нельзя там качать?

Просто дописать забыли:

Dear bots, please obey robots.txt :)

MyOST
На сайте с 22.01.2006
Offline
559
MyOST
#6
alexseo:
Просто дописать забыли:
Dear bots, please obey robots.txt

:)

да... так они это и схавают

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий