Про поисковых роботов !!!

22

lemes

3 июня 2005, 12:04

903

Возник вопрос можно ли как то без изучения лог файлов (есть статистика ip адресов)вычислить робота например по ip??

Все может быть и быть все может и все, что может - может быть, но одного лишь быть не может - того, чего не может быть.

K

737

Kost

3 июня 2005, 12:50

#1

Встроить статистику в сайт, например cnstats.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

22

lemes

3 июня 2005, 12:54

#2

Как писал Kost
Встроить статистику в сайт, например cnstats.

у меня есть статистика нужно быстро найти роботов среди кучи айпишников !!!!

K

737

Kost

3 июня 2005, 13:18

#3

А User-Agent-ы ваша статистика показывает? По ним гораздо проще.

N

53

niklab

4 июня 2005, 21:35

#4

лучше напиши скрипт.

который следит за роботами.

Я такой скрипт написал для своего сайта он умеет:

запоминает обращения к robots.txt

ведет базу ip поисковиков.

если кто-то говорит что он Yandex/1.01.001 (compatible; Win16; I)(аналогично rambler,...) а в базе ip нет то скрипт пробивает по ip кто это и пишет письмо на мыло и спрашивает дабавить ip в базу или нет.

Естественно записывает какие страницы какой робот съел, его ip, дату захода.

Если нужен скрипт могу подать. niklab@yandex.ru

кто не рискует - работает на того кто рискует

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

33

uacommerce

5 июня 2005, 10:02

#5

Как писал lemes
Возник вопрос можно ли как то без изучения лог файлов (есть статистика ip адресов)вычислить робота например по ip??

Если такое подходит, то пользуйся на здоровье🚬

С Уважением

uacommerce

Чтоб у Вас всегда, благодаря чему, не смотря ни на что.

22

lemes

6 июня 2005, 06:14

#6

Как писал uacommerce

Если такое подходит, то пользуйся на здоровье🚬

С Уважением
uacommerce

Cпасибо большое за помощь !!!

Что делать, чтобы попасть в ответы Google Bard

VK приобрела 70% в структуре компании-разработчика red_mad_robot