Форум Сайтостроение Веб-строительство

Как с помощью PHP скрипта выявить роботов поисковиков?

S

341

svv

15 августа 2010, 12:58

1261

Как с помощью PHP скрипта выявить роботов поисковиков?

Просто проблема в том, что имеется периодически начинающаяся ДДоС атака на сайт. Атака не сильная, поэтому просто блокируем на время IP за превышение количества переходов. К сожалению, в числе блокированных могут быть и роботы поисковиков. Как их сразу выявить для добавления в белый список? Как я понимаю, IP у них меняются.

107

AlikZP

15 августа 2010, 13:02

#1

Я использую такой код:

if (stristr($_SERVER['HTTP_USER_AGENT'], 'Yandex')){ $bot='Yandex';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'Googlebot')){$bot='Google';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'Mediapartners-Google')){$bot='Mediapartners-Google (Adsense)';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'Slurp')){$bot='Hot&nbsp;Bot&nbsp;search';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'WebCrawler')){$bot='WebCrawler&nbsp;search';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'ZyBorg')){$bot='Wisenut&nbsp;search';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'scooter')){$bot='AltaVista';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'StackRambler')){$bot='Rambler';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'Aport')){$bot='Aport';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'lycos')){$bot='Lycos';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'WebAlta')){$bot='WebAlta';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'yahoo')){$bot='Yahoo';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'msnbot')){$bot='msnbot/1.0';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'ia_archiver')){$bot='Alexa search engine';}

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'FAST')){$bot='AllTheWeb';}

Website CMS: быстрая, удобная, недорогая! Вечная лицензия за 45$ (/ru/forum/524503) Яся - быстрый поиск фото для товаров. OpenCart/ocStore. Дополнение. (/ru/forum/665287) Грамотная верстка ваших макетов (/ru/forum/comment/8853216)

RO

88

RedOK

15 августа 2010, 13:26

#2

AlikZP, через свитч по красивей это сделать можно :)

314

T.R.O.N

15 августа 2010, 13:40

#3

RedOK:
через свитч по красивей это сделать можно

да, смотрится красивее, но работает медленнее. хотя, возможно, в таком примере это и не столь важно

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)

87

rbbumfirst

15 августа 2010, 13:40

#4

AlikZP:
Я использую такой код:
if (stristr($_SERVER['HTTP_USER_AGENT'], 'Yandex')){ $bot='Yandex';}
else if (stristr($_SERVER['HTTP_USER_AGENT'], 'Googlebot')){$bot='Google';}
else if (stristr($_SERVER['HTTP_USER_AGENT'], 'Mediapartners-Google')){$bot='Mediapartners-Google
...

else if (stristr($_SERVER['HTTP_USER_AGENT'], 'WebAlta')){$bot='WebAlta';}
else if (stristr($_SERVER['HTTP_USER_AGENT'], 'yahoo')){$bot='Yahoo';}
else if (stristr($_SERVER['HTTP_USER_AGENT'], 'msnbot')){$bot='msnbot/1.0';}
else if (stristr($_SERVER['HTTP_USER_AGENT'], 'ia_archiver')){$bot='Alexa search engine';}
else if (stristr($_SERVER['HTTP_USER_AGENT'], 'FAST')){$bot='AllTheWeb';}

а что мешает подменить заголовок User-agent ?

ini_set("user_agent","Googlebot");

Web developer (http://rudov.com). разработка на Go, ReactJS, React Native

26

Str01tel

15 августа 2010, 14:09

#5

Проверка бота на вшивость,

http://www.google.com/support/webmasters/bin/answer.py?answer=80553

и так можно проверить практически любого бота

T

50

Troytft

15 августа 2010, 14:30

#6

rbbumfirst, вы правы, но какой смысл ? Чтобы точнее по IP можно определять

87

rbbumfirst

15 августа 2010, 15:34

#7

Troytft:
rbbumfirst, вы правы, но какой смысл ? Чтобы точнее по IP можно определять

что не мешает выдавать себя за бота. притупить бдительность так сказать. про IP то мы подумали только сейчас, а в это время уже кто то парсит наш сайт и т.п.

MegaIndex забанил более ста В поисках трафика: что Searchengines 4.0 запускаем!

D

79

digwnews

15 августа 2010, 15:44

#8

rbbumfirst:
что не мешает выдавать себя за бота. притупить бдительность так сказать. про IP то мы подумали только сейчас, а в это время уже кто то парсит наш сайт и т.п.

От парсинга и так нельзя защититься..

87

rbbumfirst

15 августа 2010, 15:51

#9

digwnews:
От парсинга и так нельзя защититься..

это тема другого разговора...

согласен, но можно просто дать контент на блюдечке, а можно еще заставить немного пораскинуть мозгами.

каждый пытается вычислить бота преследуя определенные цели. и наоборот кто то прикрывается его юзер-агентом опять же не просто так.

Маркетплейсу Беру исполнился год Mail.ru запускает безлимитную рекламу Google о добавлении дат

D

79

digwnews

15 августа 2010, 15:56

#10

rbbumfirst:
это тема другого разговора...
согласен, но можно просто дать контент на блюдечке, а можно еще заставить немного пораскинуть мозгами.

каждый пытается вычислить бота преследуя определенные цели. и наоборот кто то прикрывается его юзер-агентом опять же не просто так.

А какая разница - бот или не бот?

Вы хотите усложнить жизнь нормальным юзерам?