Форум Сайтостроение Администрирование серверов

Идентификация роботов

WC
На сайте с 26.11.2012
Offline
58
WSC
568

Подскажите, есть ли какой либо скрипт или настройка, позволяющая идентифицировать ботов заходящих на сайт? Сайт подвергается накрутке ПФ и хотелось бы забанить вражеских ботов.

RAS
На сайте с 27.11.2005
Offline
126
RAS
#1

Много проверок для идентификации бота. Самое простое - лог-файл, анализ рефа, user agent, ip адреса ( серверная подсеть или нет) и т.п.

Администрируем сервера, впс, вдс. Ускоряем загрузку сайтов - DLE, Word Press, Joomla, Modx... Настраиваем безопасность. Ручная чистка rootkit/malware/вирусов. (/ru/forum/867860) Разработка - shell/bash/sh/python/perl.
WC
На сайте с 26.11.2012
Offline
58
WSC
#2

У них все абсолютно разное, начиная от IP адреса и заканчивая версией браузера и ОС, однако метрика тем не менее идентифицирует их как ботов. Как мне их проще всего вычислить и заблокировать?

Оптимизайка
На сайте с 11.03.2012
Offline
396
Оптимизайка
#3

А метрика пишет, в большей степени определены ли они по IP или по "статистическим правилам"?

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
Andreyka
На сайте с 19.02.2005
Offline
822
Andreyka
#4

Пишите скрипт, который с метрики берет IP ботов

И баньте их

Не стоит плодить сущности без необходимости
WC
На сайте с 26.11.2012
Offline
58
WSC
#5

А как он их сможет идентифицировать, если у них постоянно разные данные IP адреса, Юзер агенты и тд. Сегодня одни, завтра другие.

WC
На сайте с 26.11.2012
Offline
58
WSC
#6

П.С. Кстати боты заходят по запросам вида: "запрос_" Кто-нибудь сталкивался с этим? Чей конкретно это может быть почерк?

D
На сайте с 19.07.2014
Offline
6
dal
#7

Попробуй в .htaccess добавить



RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} Twiceler [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} PHP/ [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus [OR]
RewriteCond %{HTTP_USER_AGENT} BLEXBot [OR]
RewriteCond %{HTTP_USER_AGENT} Tweetmeme
RewriteRule ^(.*)$ – [F,L]

И добавляй сюда маски ботов на своё усмотрение

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий