Hetzner, Yandex и ошибка 403

Skom
На сайте с 02.12.2006
Offline
165
#11

Не путайте с 503 ошибкой.

403 - ошибка авторизации.

http://en.wikipedia.org/wiki/HTTP_403

Смотрите в сторону настроек апача. .htaccess там какой-нибудь. Может какие-то урлы закрыты для яндексовских айпишников. Или ещё чего...

Cras amet qui numquam amavit quique amavit cras amet
dkameleon
На сайте с 09.12.2005
Offline
386
#12
Skom:
Может какие-то урлы закрыты для яндексовских айпишников.

роботс.тхт.... ага, теперь яндекс должен пароль вводить :)

Sigmo#ID:
Можно посмотреть на сайт глазами Яндекса - http://webmaster.yandex.ru/server-response.xml (Требуется регистрация)

не может ли быть у тестилки айпишка, отличная от ботовской?

а айпишка бота оказаться забаненой.

Дизайн интерьера (http://balabukha.com/)
Lord Maverik
На сайте с 15.04.2003
Offline
471
#13
Skom:
Не путайте с 503 ошибкой.
403 - ошибка авторизации.

403 не ошибка авторизации, а намеренно ограниченный доступ.

izbushka:
Могу только сказать, что раз в логах вы видите 403, то слово Hetzner из топика можно выкинуть
Ой, или у вас именно хостинг?

Когда тему создавал, думал "грешно" мож на стороне хетзнера есть какие-то ограничения. Бредовая мысль была...

dkameleon:
не может ли быть у тестилки айпишка, отличная от ботовской?
а айпишка бота оказаться забаненой.

Мне вообще что смотреть? Какие настройки? Ставил все по умолчанию, ничего не банил. Новые страницы индексируются, но вот часть выпадает в 403-ю.

Явно где-то в настройках косяк. Смотрел конфиг iptables, там пусто. Что вообще посмотреть? Что может ограничивать доступ?

RedMall.Ru (https://redmall.ru) - Товары из Китая (Таобао, Tmall) с проверкой качества, скидка для форумчан 7% Партнерская программа 2 уровня: 5% + 5%. Подробнее. (https://redmall.ru/about/partner/)
SI
На сайте с 03.12.2007
Offline
130
#14

Это access.log, а error.log пуст?

не может ли быть у тестилки айпишка, отличная от ботовской?
а айпишка бота оказаться забаненой.

Они постоянно меняются, думаю из одной кучи берутся.

-= Онлайн сервисы =-
L
На сайте с 07.12.2007
Offline
351
#15
zloy.alex:
Скорее всего на вер-сервере закрыт доступ для IP яндексовых. Вот и выдает ошибку.

Если доступ закрыт - в логи не писалось бы 403...

Lord Maverik:
Сам их открываю - все отлично.

Апач отдаёт код 403 и следом отсылает страницу сайта. Браузер покажет нормально, робот ПС - выкинет.

Посмотрите заголовки страниц каким-нибудь сервисом типа http://www.be1.ru/services/stat/ на предмет наличия Status: HTTP/1.1 200 OK или Status: HTTP/1.1 403 Not Found.

dkameleon
На сайте с 09.12.2005
Offline
386
#16
Lord Maverik:
Мне вообще что смотреть? Какие настройки?

Вебсервера, сайта.

Кто-то из них явно отбивает айпишку яндекса.

Lord Maverik
На сайте с 15.04.2003
Offline
471
#17
Ladycharm:
Посмотрите заголовки страниц каким-нибудь сервисом типа http://www.be1.ru/services/stat/ на предмет наличия Status: HTTP/1.1 200 OK или Status: HTTP/1.1 403 Not Found.

Да уж не раз написал, сам проверяю отдает 200, но в логах куча страниц с 403-й, и только для яши.

KU
На сайте с 17.07.2008
Offline
251
#18
Lord Maverik:
С полмесяца назад перевел сайта на хостинг от Hetzner.

У вас виртуальный хостинг от hetzner, или сервер? Если первое - пишите в поддержку hetzner.

Хостинг ( https://good-host.net ) / Linux VPS ( https://good-host.net/vps ) / Windows VPS ( https://good-host.net/windows-vps ) / Выделенные серверы ( https://good-host.net/dedicated ) 14 лет онлайн!
bums
На сайте с 03.07.2006
Offline
449
#19

Lord Maverik, выложи сюда содержимое .htaccess который лежит в корне твоего сайта.

Наверняка найдешь там что то навроде

Deny from 95.108.158.233

или

RewriteCond %{HTTP_USER_AGENT} Yandex [NC]
RewriteRule ^(.*)$ - [F,L]

bums добавил 13.10.2011 в 22:20

сразу не заметил, но судя по фрагменту лога происходит интересное...

в одном каталоге, для одного и того же IP, для одного и того же бота и разные ответы сервера

95.108.158.233 - - [12/Oct/2011:00:21:25 +0200] "GET /upload_files/catalog/_thb_34_2.jpg HTTP/1.1" 200 6103 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)"
....
95.108.158.233 - - [12/Oct/2011:00:24:49 +0200] "GET /upload_files/catalog/153_1.jpg HTTP/1.1" 403 556 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)"
Недорогая регистрация и продление доменов RU/SU/РФ/COM/NET/ORG/и т.д. ( https://www.regnic.name/?sesign ) в РЕГРУ, РЕГТАЙМ, Р01, РУЦЕНТР. А так же хостинг и SSL сертификаты.
Lord Maverik
На сайте с 15.04.2003
Offline
471
#20
bums:
Lord Maverik, выложи сюда содержимое .htaccess который лежит в корне твоего сайта.

AddDefaultCharset utf-8
AddCharset utf-8 *
<IfModule mod_charset.c>
CharsetSourceEnc utf-8
CharsetDefault utf-8
</IfModule>

Action libhandler "/cms.php?"
AddHandler libhandler .html
ErrorDocument 404 /index404.php

RewriteEngine on
RewriteRule \.html$ "/cms.php?%{REQUEST_URI}" [L]

Только это происходит на разных сайтах, с разными движками и разными htaccess.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий