Вопрос по индексации

12
[R
На сайте с 12.03.2004
Offline
5
#11

Пусть хотя бы пробелы из имени head-а уберут,

хоть похоже на старндарт HTTP будет.

Например:

Hosted-By: Astelasp.ru

Уважающий себя хостер такого не будет делать :)

D
На сайте с 21.04.2004
Offline
60
#12

Miha Kuzmin -

получил логи за апрель - честно говоря не очень понимаю какие строки Вас интересуют, точнее даже не знаю какие строки идентифицируют робота яндекса

K
На сайте с 31.01.2001
Offline
737
#13

Damon, ищите строки, содержащие Yandex/ в поле User-Agent, типа:

213.180.210.1 - - [12/Apr/2004:05:30:17 MSD] "GET / HTTP/1.1" 200 12062 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Буква в конце - тип робота, их штуки 4 или 5.

Посмотрите возвращаемый код (должен быть 200) и сколько страниц за один заход взял робот.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
D
На сайте с 21.04.2004
Offline
60
#14

в общем в основном возвращаемый код равен 200, но иногда встречается 304. Не понятно по общему числу страниц за заход - это просто строчки лога, датированные одним временем или есть какой нибудь другой показатель?

[R
На сайте с 12.03.2004
Offline
5
#15

304 - Not Modified = страница не изменялась с последнего захода

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий