да я примерно тоже самое нарыл, вопрос, а как по user-agent на уровне файрвола их разрешить ?
(апач не используем, да и не эффективно на уровне апача это делать)
И вопрос на засыпку, а разве спам боты не могут маскироваться по user-agent ? мне кажется по айпи немного надежнее, но гемор с обновлениями
Guru911 добавил 20.06.2011 в 23:45
выглядит скудненько, потому как их только для яши диапозонов около 300 http://www.db.ripe.net/whois?form_type=advanced&full_query_string=&searchtext=YANDEX-MNT&do_search=Search&inverse_attributes=mnt-by&ip_search_lvl=Default%2528nearest+match%2529&alt_database=ALL&object_type=inetnum
может основные конечно, но как бы тут чего не пропустить, а то уже начитался историй, о том что одного новостного бота не пустили, и основной перестал ходить ...
Да и вопрос как это дело обновлять ? ...
Кстати про боты sape тоже интересно - он у них один ?
Guru911 добавил 20.06.2011 в 23:47
это вы о чем ? и к кому ?
три это я условно, может больше 5 не суть важно ...
Но если вы говорите что это плохая практика, то какой смысл в вашем вайт листе ? как вы от плохих ботов то защищаетесь ?
некий блек лист неких ботов, которые донимают ваш сервер - это не панацея
немного поясню некоторые хостинги, в частности АГАВА заявляют что общими правилами они отсекают скажем больше 3 соединений с одного айпи, а якобы все поисковики у них в вайт листе.
Проблема в том что если поставить сканер больше чем на три потока, на моей стороне действительно режутся соединения. В течении полугода проблемы с индексацией на большом сайте, через раз (примерно раз в две недели) вываливается из выдачи половина сайта.
Озоботились своим сервером, а по ходу никто и не знает что можно создать белый лист роботов ...
Мдя ...
ну собственно и я так думаю, что чем тысячами отлавливать, и банить, проще решить кто хороший и добавить в белый ...
все не нужны, и вот например что вот это за зверь MajesticSeo - я понятия не имею и на сайте он мне не нужен (кажется :) )
тема то злободневная http://mastertalk.ru/lofiversion/index.php/t87909.html
Уважаемые хостеры обратите внимание !
Guru911 добавил 20.06.2011 в 20:23
http://www.google.com/support/a/bin/answer.py?hl=ru&answer=60764
собственно смущает такое положение дел, как быть ? кто что использует ? Как ограничеть вредных ботов и при этом чтобы не было потом мучительно больно ?
такое впечатление что никто не в курсе что вообще есть поисковые боты :)
мы на форуме о поисковых системах, а никто не в курсе что это такое ?
говорю же надежные источники нужны, а то вместе с поисковыми ботами можно еще и трипер зароботать ... Из разряда - могу посоветовать что использовать в качестве root пароля ;)
Вообще это что сверхсикретная информация ?
Я разве говорил что ботов поисковых систем нужно ограничивать ? нет я как раз о том чтобы их в белый лист добавить !
кстати это ваше попозже может месяцами длится ...
лучше уж Crawl-delay использовать http://help.yandex.ru/webmaster/?id=996567
ну собственно это и есть основной вопрос :)
Интересует есть ли разница в материнских платах и соответственно в сетевых картах на EQ 4 » и EQ 6 » ? кто использует, поделитесь информацией плиз.
да понимаю понимаю, и админы приведенных мной проектов тоже очевидно понимают и поумнее меня будут, но вот настроить на бесперебойную работу не могут, один я тут дурак, а ошибки у всех одни и теже очевидно :)
