Как отделять поисковых ботов от людей на php ?

1 23
Ярик
На сайте с 26.10.2003
Offline
121
#21
Back Door Man:
Получается, что мы на выходе получим микс из людей и ботов.

Ну так можно опять подсунуть скрипт и отсеять невыполняющих JS. ;) Прогнав через несколько условий можно быть почти уверенным, что пришел человек. В теории - должно сработать. :) Еще мне интересно как боты обработают экзотику типа external.AddFavorite 🚬

не посылай, да и не послан будешь...
Back Door Man
На сайте с 20.08.2003
Offline
151
#22
Ярик:
Ну так можно опять подсунуть скрипт и отсеять невыполняющих JS. ;) Прогнав через несколько условий можно быть почти уверенным, что пришел человек. В теории - должно сработать. :)

Можно и так, если юзер не устанет от кучи редиректов.

Ярик:
Еще мне интересно как боты обработают экзотику типа external.AddFavorite 🚬

А вот это попробуйте 🚬

Дмитрий
response
На сайте с 01.12.2004
Offline
324
#23
Back Door Man:
Задача в том, чтобы скормить посетителю функцию, которая ниоткуда не вызывается. Выполнивший ее, будет ботом с поддержкой JS.

😮

с чего вы взяли, что бот таки ее выполнит? нет, у меня нет точных сведений, но как бы если бы я писал бота с JS-машиной, я бы никогда не поступил бы так, как вы говорите )

Более того, я почти уверен, что тот же js быстробота реализован не с нуля. Например, логично было бы заюзать какие-то виндовские наработки )) Соотв., если за обработку js отвечает эксплореровский компонент, то он то уж точно не станет выполнять ниоткуда не вызывающуюся функцию.

Однопоточный парсер ключевых слов Магадан (http://magadanparser.ru) (со свистелками) Многопоточный парсер ключевых слов Солнечный (http://sunnyparser.ru) (без свистелок)
Back Door Man
На сайте с 20.08.2003
Offline
151
#24
response:
😮

с чего вы взяли, что бот таки ее выполнит? нет, у меня нет точных сведений, но как бы если бы я писал бота с JS-машиной, я бы никогда не поступил бы так, как вы говорите )

Более того, я почти уверен, что тот же js быстробота реализован не с нуля. Например, логично было бы заюзать какие-то виндовские наработки )) Соотв., если за обработку js отвечает эксплореровский компонент, то он то уж точно не станет выполнять ниоткуда не вызывающуюся функцию.

Ну это Ярик методику предложил, к нему и вопросы :) Согласитесь, если бот спалится на такой ерунде, с ним уже все ясно.

response:
Более того, я почти уверен, что тот же js быстробота реализован не с нуля.

Вполне логично, но.

Один из ботов Яндекса, например, в строке User-Agent имеет строку "DOS 3.0". Вряд ли там есть компонент эксплорера, думаю, ничего виндового там близко нет. Имхо, неэкономично по производительности полностью эмулировать работу броузера, тем более под виндой.

Lesni4ok
На сайте с 25.08.2007
Offline
22
#25

Я использовал для обработки javascripta специальный модуль кажеть их фаерфокса.

Пакет был в стандартном дистрибутиве моей ОС.

Выполняет не очень хорошо и не все[может я не все скурил, хз], при желании можно написать такой код, который ни один робот читать\выполнять не захочет))

Но это все около клоакинга, аккуратней с этим если четко не понимаете что и зачем делаете.

Ярик
На сайте с 26.10.2003
Offline
121
#26
response:
😮

с чего вы взяли, что бот таки ее выполнит? нет, у меня нет точных сведений, но как бы если бы я писал бота с JS-машиной, я бы никогда не поступил бы так, как вы говорите )
Back Door Man:
Ну это Ярик методику предложил, к нему и вопросы :)

😂 Ну это как вариант против тупого перебора. ;) Кстати не обязательно делать мертвую функцию - можно сделать такую, которую человек пнуть не сможет. ☝

Back Door Man:
Можно и так, если юзер не устанет от кучи редиректов.

Так его никуда ненужно редиректить. 🚬 Можно и на месте разобраться.

response
На сайте с 01.12.2004
Offline
324
#27
Back Door Man:

Вполне логично, но.
Один из ботов Яндекса, например, в строке User-Agent имеет строку "DOS 3.0". Вряд ли там есть компонент эксплорера, думаю, ничего виндового там близко нет. Имхо, неэкономично по производительности полностью эмулировать работу броузера, тем более под виндой.

ну, юзер-агент не показатель, бугага ) тем более доса 3.0 не существет афаик ) 6.22 ж последняя была, нет? )

конечно, компонент ие в чистом виде юзать слишком медленно, однако тут как.. свою машину писать я бы не стал - долго, гемморно. Легче чью-то лицензию взять, либо заюзать общедоступную. Тут встает такой вопрос, что основная масса юзает IE. Соотв. и машина должна работать как ие. Так что думаю геммору еще наваливается, если не майкрософтовский код использовать. Хотя, конечно, хз, какие там на самом деле взгляды у разработчиков - мы ж тут всей картины даже близко не видим.

Back Door Man
На сайте с 20.08.2003
Offline
151
#28
Ярик:
Так его никуда ненужно редиректить. 🚬 Можно и на месте разобраться.

Можно не редиректить, но придется дать ему время, для проверки "на вшивость", будет он эту функцию гонять или нет.

response:
ну, юзер-агент не показатель, бугага ) тем более доса 3.0 не существет афаик ) 6.22 ж последняя была, нет? )

Не показатель. Досов всяких была масса. Если MS, то последняя была 8я.

response:
Хотя, конечно, хз, какие там на самом деле взгляды у разработчиков - мы ж тут всей картины даже близко не видим.

Вот именно 🚬

UralM
На сайте с 07.08.2006
Offline
188
#29
fima32:
Если клоакинг хотите устроить на сайте, то лучше сразу бросьте это глупое занятие.

хм.. клоакинг имеет право на жизнь ). На данный момент рушный дор небольшого объема живет уже с месяц. Клоакинг естественно по IP

A
На сайте с 29.12.2005
Offline
118
#30

Зачем мучаться? Делайте, как яндекс, давайте ему капчу "я не робот"!

:D

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий