О роботах

12
Миша
На сайте с 26.02.2006
Offline
59
1082

Как узнать был ли поисковый робот на сайте и если был, то какой?

Русские НЕ СДАЮТСЯ!!!
XBons
На сайте с 28.01.2006
Offline
110
#1

Попробуйте программу, например, - awstats

I
На сайте с 22.10.2005
Offline
58
Iso
#2

Есть внешние счётчики, которые предоставляют код для встраивания в код сайта с такой целью. Например, liveinternet.ru.

Ну или можно простой webalizer поставить.

А я вообще серией grep'ов это обычно решаю :) Как-то привычнее и надёжнее :D

K
На сайте с 31.01.2001
Offline
737
#3

Можно искать в логах, кто дергал /robots.txt, это обычно роботы. Так и познакомитесь :).

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
MyOST
На сайте с 22.01.2006
Offline
559
#4
Миша:
Как узнать был ли поисковый робот на сайте и если был, то какой?

логи...

можно поставить CNstats

Блог (http://seom.info/) | Ты уже SEO профессионал? (http://www.key-collector.ru/) Развиваем семантику более 8 лет! ()
L
На сайте с 12.11.2005
Offline
39
#5

Semonitor для этой цели очень удобно.

DimaU
На сайте с 30.08.2005
Offline
180
#6
узнать был ли поисковый робот на сайте и если был, то какой?

или, например, поиспользовать простенький php-скрипт (free) - из readme:

BotsInfo
Этот скрипт показывает дату и время посещения, название бота, ip адрес бота и станицы просмотренные ботом.
Есть автоматическая постраничная разбивка и возможность удаления записей под администратором.
--
write.php - это файл записи, который индефицирует бота и записывает данные.
botsinfo.php - это файл для просмотра статистики.
bots.dat - это файл с базой данных.
readme.txt - описание.
--
1. Залейте папку "bot" в корневую директорию Вашего сайта.
2. В файле botsinfo.php впишите свой пароль (b_psswd).
3. Поставьте атрибуты "666" для файла bots.dat - это сделает его доступным для записи!
4. Вверху каждой страницы поставьте следущее: <?php include ('bot/write.php');?>
Скрипт готов к работе!
MyOST
На сайте с 22.01.2006
Offline
559
#7
DimaU:
например, поиспользовать простенький php-скрипт (free) - из readme:

только минус есть. он показывает поискувую систему. Яндекс например, но не именно бот :) с буквой

Kislov
На сайте с 29.04.2006
Offline
185
#8
Iso:
Есть внешние счётчики, которые предоставляют код для встраивания в код сайта с такой целью. Например, liveinternet.ru.

Нужно смотреть в экспресс-аудите>просмотр логов? И чтобы узнать был ли робот на сайте нужно ввести его ип адрес. Верно? Если всё верно, то где взять ип адреса роботов? Помогите, пожалуйста. Видел где-то, но не помню. Спасибо за помощь

I
На сайте с 18.07.2006
Offline
9
ijq
#9
Kislov:
Нужно смотреть в экспресс-аудите>просмотр логов? И чтобы узнать был ли робот на сайте нужно ввести его ип адрес. Верно? Если всё верно, то где взять ип адреса роботов? Помогите, пожалуйста. Видел где-то, но не помню. Спасибо за помощь

А что такое robots.txt 🙄 и для чего он нужен. можно ли без него?

Простите..

Kislov
На сайте с 29.04.2006
Offline
185
#10
ijq:
А что такое robots.txt 🙄 и для чего он нужен. можно ли без него?
Простите..

Robots.txt - это служебный файл, который, как правило, расположен в корневом каталоге сайта и описывает параметры индексации сайта

Вы бы поиском воспользовались :)

http://www.yandex.ru/yandsearch?stype=www&nl=0&text=%F7%F2%EE+%F2%E0%EA%EE%E5+robots.txt

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий