Отличительная черта роботов

N
На сайте с 23.06.2005
Offline
2
535

Вопросик такой: вот порой у меня по сайту боты бегают. Узнаю МСН, Яху, Гугл..... итд итп. В принципе зная ИХ отличительные черты по useragent можно их автоматически определить и залить инфу в статистику, а можно ли по каким-нибудь критериям определить с максимальной точностью, что данный useragent (точнее владелец его) - бот. (видел разные статистики, где писались "Другие роботы")

Не будем рассматривать возможность, когда какой-нибудь злобный поисковик натянул useragent какого-нибудь эксплорера итд итп.

Ярик
На сайте с 26.10.2003
Offline
121
#1

"правильные" боты запрашивают robots.txt - вот по этому признаку отловить можно

не посылай, да и не послан будешь...
N
На сайте с 23.06.2005
Offline
2
#2
Ярик:
"правильные" боты запрашивают robots.txt - вот по этому признаку отловить можно

Логично........ :D ступил, а если он "неправильный"..........

[Удален]
#3
а если он "неправильный"..........

Яндекс ? Тогда по агенту 😂

Ярик
На сайте с 26.10.2003
Offline
121
#4
Natan:
Логично........ :D ступил, а если он "неправильный"..........

есть целые списки "неправильных" ботов :) цель отлова ботов? для коллекции? или трафа на них жалко?

N
На сайте с 23.06.2005
Offline
2
#5
Miha Kuzmin (KMY):
Яндекс ? Тогда по агенту 😂

Посмотри вопрос......

Известные боты будут складироваться в одно место, неизвестные, но узнаваемые но каким-то патернам в свое. Для статистики, однако.....

[Удален]
#6

Это шутка если кто не понял :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий