Боты и их жизнь среде интернет.

L2
На сайте с 24.09.2008
Offline
10
#41

У меня возникло несколько вопросов, кто ответит буду блогадарен

1)

народ что за подсеть такая, несколько раз натыкался

IP 117.47.76.220

http://www.db.ripe.net/whois?form_type=simple&full_query_string=&searchtext=117.47.76.220&do_search=Search

2)

WSGU

Как определить что IP c дата-центра?

O
На сайте с 13.08.2008
Offline
26
#42
list2008:
, несколько раз натыкался
IP 117.47.76.220

Тайланд,

inetnum: 117.47.0.0 - 117.47.255.255

netname: TTTNET

descr: Maxnet, Internet Service Provider, Bangkok

descr: under management by TT&T co. ltd Thailand

country: TH

admin-c: mn236-AP

tech-c: mn236-AP

status: ALLOCATED PORTABLE

remarks: -+-+-+-+-+-+-+-+-+-+-+-++-+-+-+-+-+-+-+-+-+-+-+-+-+-+

remarks: This object can only be updated by APNIC hostmasters.

remarks: To update this object, please contact APNIC

remarks: hostmasters and include your organisation's account

remarks: name in the subject line.

remarks: -+-+-+-+-+-+-+-+-+-+-+-++-+-+-+-+-+-+-+-+-+-+-+-+-+-+

changed: hm-changed@apnic.net 20070618

mnt-by: APNIC-HM

mnt-lower: MAINT-TH-WICHAI

changed: hm-changed@apnic.net 20071218

source: APNIC

Outsourcenow.ru: оттюним ваш веб-сервер. 100 млн. запросов в сутки - наш размерчик!
kxk
На сайте с 30.01.2005
Offline
970
kxk
#43

list2008, APNIC и LACNIC сразу баньте по /8 целее будете, добра в этих подсетях 1%, а вот зла оставшиеся 99% в идеале эти подсети банить на циске перед сервером.

Ваш DEVOPS
WU
На сайте с 07.10.2007
Offline
166
#44
list2008:

2)
WSGU
Как определить что IP c дата-центра?

По Whois - там сразу понятно, если например написано - дата центр мастерхост, например, то скорее всего кто-то затягивает ботом сайт, в бан такой IP (или все сеть), только сапу не забаньте

ciber
На сайте с 04.01.2008
Offline
215
#45
WSGU:

Почти без потерь посетителей, уменьшил нагрузку более чем в 2 раза. Продолжаю искать методы борьбы с бесполезной нагрузкой на сервер

Зачем нужны такие методы если происходит потеря поситителя. Кто знает, может этот один потеряный посититель был полезнее 100 попавших?

WU
На сайте с 07.10.2007
Offline
166
#46
ciber:
Зачем нужны такие методы если происходит потеря поситителя. Кто знает, может этот один потеряный посититель был полезнее 100 попавших?

Тут просто нужно оценить, важен ли не постоянный посетитель из Морокко на сайте, тем более у заинтересованных посетителей есть возможность написать письмо об разблокировании их ip (им сообщается куда надо написать, т.к. я фильтрую на уровне nginx и заблокированным выдаю сообщение)

L2
На сайте с 24.09.2008
Offline
10
#47

а где взять нормальный адекватный whois по ip ??

WU
На сайте с 07.10.2007
Offline
166
#48
list2008:
а где взять нормальный адекватный whois по ip ??

мне вот этот нравиться, правда он иногда тормозит

kxk
На сайте с 30.01.2005
Offline
970
kxk
#49

list2008, Список подсеток лежит в базе geoip, а дальше чуточку мозга, прямых рук и пару часов, какой админ незнает баша или хотя бы основ perl :)

stydent
На сайте с 17.10.2004
Offline
95
#50

может проблема не столько в ботах, а в кривых скриптах...была похожа проблема из-за кривых скриптов...например когда боты поисковиков наведывались load average доходила до 20...сейчас не больше 2 при самой МАКСИМАЛЬНОЙ нагрузке?

у меня основная проблема была с поиском даже после оптимизации сильно грузил - поставил капчу и чтобы 2 раза низззя было нажать кнопку, а то некоторые не дожидались и жали-жали-жали....и если с левых доменов пытаются поиск юзать error 403 и на главную ).

Сканилки портов, подбор паролей Portsentry, Logcheck.

Мониторинг по http - Munin. ну и ftp доступ строго по ip, а то ща вирей сток.

зы ВОЙЗ http://who.is/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий