Форум Поисковые системы Прочие поисковики

Бот "SearchBot"- что за зверь?

gagarin123
На сайте с 23.01.2008
Offline
137
gagarin123
3604

Сегодня на сайт пришел бот с простым именем "SearchBot" с IP адресом 109.207.13.60: 

109.207.13.60 - - [18/Apr/2012:01:17:06 +0400] "GET / HTTP/1.1" 200 26094 "" "SearchBot"

Мне он кажется чересчур подозрительным, но хотелось бы услышать ваше мнение, стоит ли запрещать ему доступ

---------- Добавлено 18.04.2012 в 01:25 ----------

whois 109.207.13.60

inetnum: 109.207.0.0 - 109.207.15.255

netname: Electronic-government

descr: OJSC Rostelecom

descr: Electronic government of the Russian Federation

country: RU

---------- Добавлено 18.04.2012 в 01:44 ----------

В общем, добавил правило в конфиг и перезапустил nginx, теперь стало вот так: 

109.207.13.60 - - [18/Apr/2012:01:40:58 +0400] "GET /" 403 169 "" "SearchBot"
GreatKir
На сайте с 25.09.2009
Offline
55
GreatKir
#1

gagarin123, а что подозрительного? Просто безымянный паук. Если не создаёт нагрузку, зачем блокировать?

П.С. Верни аватар)

Куплю места под ссылки/статьи на площадках по тематике "Полиграфия"
gagarin123
На сайте с 23.01.2008
Offline
137
gagarin123
#2

Учитывая, что на сайте постоянно сидят боты Google и Яндекс, а также временами заходит бот от Мейл.ру, лишние нонейм-боты мне ненужны.

Тем более, что этот "SearchBot" уж очень активно принялся запрашивать страницы сайта, игнорируя значение "Crawl-delay: 10" в robots.txt. Судя по логам, он пытался открывать по 70+ страниц в секунду 

cat ~/logs/access.log |grep SearchBot |grep "2012:01:40:57" |wc

      71     852   10657


---------- Добавлено 18.04.2012 в 03:53 ----------

PS прошу прощения за аватар, но он у меня уже несколько лет, я к нему успел привыкнуть )
Яндекс отказался от учета Как повлиять на скорость Google: мы учитываем релевантность
neznaika
На сайте с 28.06.2006
Offline
356
neznaika
#3

gagarin123, таких ботов полно, может и гуглятина клоакинг ищет притворяясь тупыми ботами.

Если создаёт нагрузку - банить, а так - пусть живёт ползун :)

Дорого покупаю настоящие сайты. Не инвестирую деньги и не беру кредиты.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий