Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как посмотреть, когда какой робот заглядывал на сайт???

TT
На сайте с 04.11.2004
Offline
43
TAMAT
564

Простите за, наверное, глупый вопрос, я тут новичок.

Хочется знать, какой робот приходил на сайт и когда. В форуме не нашел.

Если не сложно, расскажите, пожалуйста.

Изготовление сувенирной продукции
A
На сайте с 02.06.2004
Offline
36
Artich
#1
Простите за, наверное, глупый вопрос, я тут новичок. Хочется знать, какой робот приходил на сайт и когда. В форуме не нашел. Если не сложно, расскажите, пожалуйста.

Смотрите в лог-файлах сервера, через панель управления сайтом

TT
На сайте с 04.11.2004
Offline
43
TAMAT
#2

Artich, у меня доступ по фтп к сайту.

смотрел логи, но ничего похожего не нашел.

TT
На сайте с 04.11.2004
Offline
43
TAMAT
#3

там есть записи типа этих:

84.204.114.206 - - [04/Nov/2004:07:07:15 +0300] "GET /admin HTTP/1.1" 401 473

84.204.114.206 - admin [04/Nov/2004:07:07:23 +0300] "GET /admin HTTP/1.1" 301 301

Look
На сайте с 01.04.2004
Offline
152
Look
#4

Присоединяюсь к просьбе ТАМАТ, на самом деле очень интересно и непонятно, что там и как...

K
На сайте с 31.01.2001
Offline
737
Kost
#5

Ищите строки, содержащие

Yandex/

StackRambler

Aport

Googlebot

и т.д.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
TT
На сайте с 04.11.2004
Offline
43
TAMAT
#6

Оказалось, что логи были не полные и нужно было что то в настройках Апачи поправить... теперь все ок.

D
На сайте с 18.11.2004
Offline
3
Desperado
#7

IMHO проще и эффективнее в файле .htaccess для mod_rewrite:

#отлавливаем поисковые роботы

RewriteRule ^robots.txt$ /robots.php?%{REQUEST_URI}

роботы смотрят файл robots.txt

RewriteRule ^robots.txt$ /robots.php?%{REQUEST_URI}

делает перенаправление на robots.php,

а там все HTTP-загловки можно получить (в т.ч. и HTTP_USER_AGENT). Соответственно, robots.php

должен вывести файл в формате файла robots.txt (ну или пусто)

Good luck, Alex Sokolov aka 'Atheist'
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий