Как отделять поисковых ботов от людей на php ?

12 3
AZ
На сайте с 10.11.2007
Offline
7
2845

Достаточно смотреть User-Agent или нужно отслеживать по IP и что то еще?

В смысле боты маскируются в User-Agent под людей?

fima32
На сайте с 12.01.2006
Offline
132
#1
AndreyZG:
В смысле боты маскируются в User-Agent под людей?

Еще как, особенно всякие парсеры

AZ
На сайте с 10.11.2007
Offline
7
#2
fima32:
Еще как, особенно всякие парсеры

Интересуют именно поисковые боты

ГА
На сайте с 21.12.2006
Offline
128
#3

Бот (особенно поисковых систем) может так замаскироваться, что его никакими php скриптами не определишь.

fima32
На сайте с 12.01.2006
Offline
132
#4

Простые индексаторы не маскируются, а вот специальные(типа проверка на клоакинг и т.п.) еще как маскируются, могут с других подсетей заходить, с разными реферерами, юзер-агентами и т.п.

З.Ы. А Вам, собственно говоря, зачем? Если клоакинг хотите устроить на сайте, то лучше сразу бросьте это глупое занятие.

AZ
На сайте с 10.11.2007
Offline
7
#5
fima32:
Простые индексаторы не маскируются, а вот специальные(типа проверка на клоакинг и т.п.) еще как маскируются, могут с других подсетей заходить, с разными реферерами, юзер-агентами и т.п.

З.Ы. А Вам, собственно говоря, зачем? Если клоакинг хотите устроить на сайте, то лучше сразу бросьте это глупое занятие.

Doorways хочу сделать или лучше делать редирект на javascript? Редирект на javascript специальные поисковые боты вроде палят тоже?

Newo
На сайте с 13.08.2006
Offline
41
#6

Боты маскируются как только могут, так что порой определить их тяжело.

Некоторые (сам не пробовал, но уверен, если доработать, то будет очень действенно) делают так: т.к. у бота в его ОС наврядли есть курсор или что-то подобное (можно много чего придумать))), то можно это использовать для себя при помощи JS. Думаю, лучше даже сюда прикрутить php, а то бот все-таки JS видит))

Врадце на эту тему: http://www.nulled.ws/showthread.php?t=15993

AZ
На сайте с 10.11.2007
Offline
7
#7
Newo:

Врадце на эту тему: http://www.nulled.ws/showthread.php?t=15993

Спасибо, интересная ссылка

Back Door Man
На сайте с 20.08.2003
Offline
151
#8
Newo:
Боты маскируются как только могут, так что порой определить их тяжело.

Некоторые (сам не пробовал, но уверен, если доработать, то будет очень действенно) делают так: т.к. у бота в его ОС наврядли есть курсор или что-то подобное (можно много чего придумать))), то можно это использовать для себя при помощи JS

Не очень действенно. Судя по всему некоторые боты тупо перебирают все события JavaScript и успешно обходят и такую защиту.

Дмитрий
Newo
На сайте с 13.08.2006
Offline
41
#9
Back Door Man:
Не очень действенно. Судя по всему некоторые боты тупо перебирают все события JavaScript и успешно обходят и такую защиту.

Можно, например, передавать из JS переменные в php, и там уже обрабатывать))

Back Door Man
На сайте с 20.08.2003
Offline
151
#10
Newo:
Можно, например, передавать из JS переменные в php, и там уже обрабатывать))

А мы еще при запросе страницы имеем о боте все данные (IP, реферер, юзер-агент, и можем их в РНР обработать), какие новые данные мы будем иметь, если выполнив сценарий бот успешно сымитировал человека?

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий