Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Роботы и ошибки

C
На сайте с 14.02.2005
Offline
51
Cruiser
407

Лог:

[23/Feb/2005:08:20:36 +0300] "GET /robots.txt HTTP/1.0" 301 309 "-" "Googlebot/2.1

[23/Feb/2005:08:20:37 +0300] "GET /robots.txt HTTP/1.0" 200 254 "-" "Googlebot/2.1

Почему всегда вначале код 301 а через секунду код 200?

По другим роботам такого не замечал вроде.

C
На сайте с 19.09.2001
Offline
120
Cherny
#1

С mod_rewrite нигде не намудрили?

Не должно так быть, если сервер правильно настроен.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
C
На сайте с 14.02.2005
Offline
51
Cruiser
#2

А вот посмотрите, все верно?

.htaccess

RewriteCond %{HTTP_HOST} !^www.site.ru$

RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,L]

C
На сайте с 19.09.2001
Offline
120
Cherny
#3

Да, все верно.

При запросе robots.txt на сайте site.ru робот получает редирект на www.site.ru, а оттуда уже нормально забирает файл.

C
На сайте с 14.02.2005
Offline
51
Cruiser
#4

А может убрать [R=301,L]?

Я убрал, проверил, вроде все работает.

[Удален]
#5

Не надо убирать. Так как у вас - это хорошо. А если уберете - будет ошибка 500. :)

C
На сайте с 14.02.2005
Offline
51
Cruiser
#6

Почему тогда людям 500 не выдает?

И почему Гугль упорно лезет за robots.txt на зеркало если ему выдается "перемещен"?

[Удален]
#7

С неосновного зеркала не выдает 500? Странно.

А Гугль - перепроверяет.

C
На сайте с 14.02.2005
Offline
51
Cruiser
#8

Погодите, я не пойму.

Почему должно 500 выдавать то?

Идет просто редирект на другой хост.

Таким же образом через mod_rewrite работают ЧПУ (человеко понятные урлы).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий