Долго борюсь с ошибкой 403 для Яндекса

12
DM
На сайте с 15.08.2005
Offline
43
3293

Столкнулся с очень интересным случаем, надеюсь, что уважаемые гуру разъяснят.

Сайт (http://www.bestsun.ru/) никак не может проиндексироваться. Поддержка Яндекса ответила, что когда приходит робот на сайт - получает ошибку 403.

Вот письмо:

17 сентября робот был на сайте в последний раз, на запрос
http://WWW.BESTSUN.RU/src/len_metropolitena.htm он все получал 403, кстати,
сервер и сейчас отдает 403 --
http://www.be1.ru/stat/?url=http%3A%2F%2FWWW.BESTSUN.RU%2Fsrc%2Flen_metropolitena.htm

--
С уважением, Платон Щукин

И действительно, когда набираешь URL большими буквами - ошибка 403. Набираешь маленькими - все нормально, 200.

Если в be1 набрать в качестве адреса сайта http://WWW.YANDEX.RU/ то сайт тоже отдаст 403-ую.

Небольшой комментарий: первоначально сайт был проиндексирован без www. Я поставил 301-й редирект и указал директиву host. После чего сайт закономерно вылетел, но обратно не возращается уже долгое время.

Спасибо, жду Ваших ответов.

Поставив овцу на задние ноги вы не сделаете из нее человека.
Но поставив в это положение отару овец, вы сможете получить толпу людей. (М. Бирбом)
The end
На сайте с 23.11.2004
Offline
138
#1
DrMisha:
Столкнулся с очень интересным случаем, надеюсь, что уважаемые гуру разъяснят.

Сайт (http://www.bestsun.ru/) никак не может проиндексироваться. Поддержка Яндекса ответила, что когда приходит робот на сайт - получает ошибку 403.

Вот письмо:


И действительно, когда набираешь URL большими буквами - ошибка 403. Набираешь маленькими - все нормально, 200.
Если в be1 набрать в качестве адреса сайта http://WWW.YANDEX.RU/ то сайт тоже отдаст 403-ую.

Небольшой комментарий: первоначально сайт был проиндексирован без www. Я поставил 301-й редирект и указал директиву host. После чего сайт закономерно вылетел, но обратно не возращается уже долгое время.

Спасибо, жду Ваших ответов.

IMHO, 301-й редирект в таком случае - все равно что хирургическте вмешательство при обычной ангине - можно, но не нужно.

Вы что-нибудь видели про редирект здесь: http://webmaster.yandex.ru/faq.xml?id=508490#wrongname ? Директива хост и абсолютные ссылки нормально работают, хоть иногда и не быстро.

Ну вот не привык у нас народ читать мануалы. Проще потрясти, постучать, взять отвертку и поковырять.

Singular Advertising (http://www.singular.by/).
DM
На сайте с 15.08.2005
Offline
43
#2

То есть вы считаете, что редирект стал причиной того, что робот Яндекса получает 403?

Каким образом?

Если мы обратимся к сайту с www, то редирект нас никуда не переадресует - в чем здесь проблема?

VladiZlav
На сайте с 06.04.2006
Offline
214
#3

403 тут по ходу дела похоже ни при чем ;)

Обратите внимание что Ваш сайт УЖЕ есть в индексе, но БЕЗ WWW. Идем дальше - набираем http://bestsun.ru БЕЗ WWW и видим что он отдает не 200 а код 301 (редирект) что собственно в итоге и является причиной проблемной индексации Вашего сайта. Убирайте 301 редирект, прописывайте в robots.txt директиву host для Яндекса, дожидайтесь склейки зеркал и потом ставьте 301 редирект для Гугла и будет всем счастье, в том числе и Вам. Верхний и нижний регистр написания УРЛа тут ни при чем 🚬

P.S. Обратите внимание - сайт НЕ вылетел из индекса, вылетела МОРДА отдающая 301 редирект ;)

DM
На сайте с 15.08.2005
Offline
43
#4

VladiZlav, вот замечательный ответ!

VladiZlav:
P.S. Обратите внимание - сайт НЕ вылетел из индекса, вылетела МОРДА отдающая 301 редирект

Вылетели все страницы сайта, кроме тех, что на поддомене (страниц форума).

Яндекс пишет, что когда робот натыкается на 301-й редирект, он удаляет данную страницу из базы, а в очередь на индексацию добавляет страницу, на которую редирект. Может нужно для страниц поддомена поставить редирект? Чтобы сайт полностью вылетел из базы и индексировался заново неожидая зеркалщика. Или не пройдет такой вариант?

[Удален]
#5
DrMisha:
Долго борюсь с ошибкой 403 для Яндекса

Поборитесь, а лучше просто выеб@#$ , своего хостера... или своего админа за криворукость!

The end
На сайте с 23.11.2004
Offline
138
#6
DrMisha:
То есть вы считаете, что редирект стал причиной того, что робот Яндекса получает 403?
Каким образом?

Я сказал только то, что сказал.

А говорил я, что проблема со сменой зеркал успешно решается без редиректов. Стоит только проявить немного внимательности и почитать, что об этом говорит сам Яндекс. Для таких же случаев и написан хелп.

DrMisha:

Вылетели все страницы сайта, кроме тех, что на поддомене (страниц форума).

Яндекс пишет, что когда робот натыкается на 301-й редирект, он удаляет данную страницу из базы, а в очередь на индексацию добавляет страницу, на которую редирект. Может нужно для страниц поддомена поставить редирект? Чтобы сайт полностью вылетел из базы и индексировался заново неожидая зеркалщика. Или не пройдет такой вариант?

Зеркалирование и индексация - процессы самостоятельные и независимые. Пока сайт не будет отзеркалирован, индексироваться будет без www.

Scaramush:
Поборитесь, а лучше просто выеб@#$ , своего хостера... или своего админа за криворукость!

вот-вот.

DrMisha:
И действительно, когда набираешь URL большими буквами - ошибка 403. Набираешь маленькими - все нормально, 200.
Если в be1 набрать в качестве адреса сайта http://WWW.YANDEX.RU/ то сайт тоже отдаст 403-ую.

be1 глючит. Или нарывается на персональный ответ.

cmd> GET / HTTP/1.0

cmd> Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*

cmd> User-Agent: google

cmd> Host: WWW.YANDEX.RU

cmd>

hdr> HTTP/1.1 200 OK

hdr> Date: Mon, 25 Sep 2006 20:20:25 GMT

hdr> Server: Apache/1.3.29 (Unix) mod_perl/1.29 mod_deflate/1.0.21 rus/PL30.19

cookie> yandexuid=2545521159215625; path=/; domain=.yandex.ru; expires=Friday, 31-Dec-10 23:59:59 GMT

hdr> Set-Cookie: yandexuid=2545521159215625; path=/; domain=.yandex.ru; expires=Friday, 31-Dec-10 23:59:59 GMT

hdr> Last-Modified: Mon, 25 Sep 2006 20:20:25 GMT

hdr> Cache-Control: max-age=300, private, proxy-revalidate

hdr> Expires: Mon, 25 Sep 2006 20:25:25 GMT

hdr> Connection: close

hdr> Content-Type: text/html; charset=windows-1251

RequestDone Error = 0

StatusCode = 200

DM
На сайте с 15.08.2005
Offline
43
#7

The end, иногда действительно помогает повторить тоже самое другими словами, по-другому или подробнее. Спасибо, что не поленились это сделать!!!

[Удален]
#8

попробуй поставеть оброботчик ошики помогает

VladiZlav
На сайте с 06.04.2006
Offline
214
#9
The end:

be1 глючит. Или нарывается на персональный ответ.

cmd> GET / HTTP/1.0
cmd> Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*
cmd> User-Agent: google
cmd> Host: WWW.YANDEX.RU
cmd>
hdr> HTTP/1.1 200 OK

Подтверждаю, для YANDEX.RU код 200 отдается а вот для BESTSUN.RU отдается код 403...

Подтверждается версия о кривых руках админа или хостера =-)))

M
На сайте с 26.09.2006
Offline
0
#10

-----------------

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий