Отлов пауков Яндекса

12
R_Tem
На сайте с 21.08.2008
Offline
137
1920

Есть задача показать Яше одно, а всем остальным другое.

Так вот, пугает то, что Яндекс может замаскироваться (как многие говорят) и обойти написанные для него правила.

Как поступить в данной ситуации?

Вариант 1: использовать все USER агенты, которые Яндекс описал в своих инструкциях и не париться.

Вариант 2: заморочиться и написать модуль отлова и анализа ботов по логам, для выявления принадлежности ботов к поиску и поисковым системам. При этом потерять много времени и ресурсов.

W
На сайте с 13.09.2013
Offline
122
#1
R_Tem:
Есть задача показать Яше одно, а всем остальным другое.
Так вот, пугает то, что Яндекс может замаскироваться (как многие говорят) и обойти написанные для него правила.

Как поступить в данной ситуации?

Вариант 1: использовать все USER агенты, которые Яндекс описал в своих инструкциях и не париться.
Вариант 2: заморочиться и написать модуль отлова и анализа ботов по логам, для выявления принадлежности ботов к поиску и поисковым системам. При этом потерять много времени и ресурсов.

А как потом выбрать из ботов, принадлежащих ПС, выбрать ботов яндекса, если они "маскируются"?

AB
На сайте с 23.04.2011
Offline
92
#2

Нужно сделать вход на сайт через смс. Яндекс не будет отправлять смс.

Отправь смс на номер ХХХХ со текстом "Я не Яндекс". Чем больше смс отправишь, тем больше ты не Яндекс.

dr_Min
На сайте с 29.07.2008
Offline
101
#3

Вчем проблема сделать ловушку-страничку для сбора айпишников? Прячете ссылку в шаблоне display none, обчный человек ее не кликнет, а тех кто кликнул в "мусорку"?

AK
На сайте с 23.02.2009
Offline
117
#4

В 2015 есть еще люди, которые не слышали про Я.Браузер и не понимают, зачем он нужен.

Force68
На сайте с 23.04.2010
Offline
250
#5
ant_key:
В 2015 есть еще люди, которые не слышали про Я.Браузер и не понимают, зачем он нужен.

Какой он процент занимает в вашем трафике? У меня аж 2.7% ! 😂

zTDS - бесплатная TDS (https://t.me/z_tds)
AB
На сайте с 23.04.2011
Offline
92
#6
ant_key:
В 2015 есть еще люди, которые не слышали про Я.Браузер и не понимают, зачем он нужен.

Большинство юзеров не слышали про браузер и не понимают, зачем он нужен, если есть "интернет".

AP
На сайте с 14.04.2010
Offline
122
#7
Force68:
Какой он процент занимает в вашем трафике? У меня аж 2.7% ! 😂

Force68, у тебя наверно трафика с яндекса очень мало, у меня доходит до 30% если траф только с яндекса, а если с обоих ПС, то в среднем 12-15%.

R_Tem
На сайте с 21.08.2008
Offline
137
#8
AnuBella:
Нужно сделать вход на сайт через смс. Яндекс не будет отправлять смс.

Отправь смс на номер ХХХХ со текстом "Я не Яндекс". Чем больше смс отправишь, тем больше ты не Яндекс.

очень оригинально. шутки по 100 пошли.

---------- Добавлено 07.08.2015 в 10:50 ----------

ant_key:
В 2015 есть еще люди, которые не слышали про Я.Браузер и не понимают, зачем он нужен.

слышали, но калопродуктами к счастью не пользуемся.

вот и вопрос поэтому. как полностью себя обезопасить от пауков и браузер Яндекса?

---------- Добавлено 07.08.2015 в 10:56 ----------

Force68:
Какой он процент занимает в вашем трафике? У меня аж 2.7% ! 😂

при 50к в сутки с Яндекса его доля 7% и к моей радости она снижается.

one
На сайте с 15.04.2007
Offline
336
one
#9

Для отлова ботов ПС http://vladimir-awm.ru/skript-statistiki-poiskovyx-botov/

Решения для автоматизации действий ( https://www.facebook.com/automationstudio20/ ) в интернете.
AB
На сайте с 23.04.2011
Offline
92
#10
one:
Для отлова ботов ПС http://vladimir-awm.ru/skript-statis...iskovyx-botov/

эмм... Это шутка? Если нет, то эта штука может отловить лишь тех ботов, которые не скрывают свою принадлежность к своим собратьям-ботам. ТС какбэ спрашиват - "подскажите бесплатную клоаку". Но ему тут не подскажут, даже жаль немножк.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий