Форум Поисковые системы Яндекс

Ошибка 503

Л2
На сайте с 26.01.2008
Offline
118
Лёлик2
2622

Неделю назад из индекса Яндекса повыпадали страницы моего сайта, в том числе и главная по причине "HTTP-статус: Служба не доступна (503)". Тех. поддержка Яндекса сказала что подождите переиндексации все станет на свои места. 25.09 робот опять зашел на сайт и снова получил ошибку 503 и из индекса еще больше выпало страниц в том числе вместе с главной. Тех. поддержка Яндекса говорит что это на сервере может быть настроено так что для ботов запрещен доступ чтобы они не нагружали сервер. Такое может быть?

С гуглом все ок. Да кстати, Карту сайта и robots.txt Яндекс загружает без ошибок, сайт открывается в браузере нормально.

albion
На сайте с 07.10.2005
Offline
247
albion
#1

Лёлик2, да, может. Обратитесь к хостеру. И посмотрите логи сайта, возможно там что нибудь есть

Fruit
На сайте с 15.07.2008
Offline
166
Fruit
#2
Лёлик2:
Тех. поддержка Яндекса говорит что это на сервере может быть настроено так что для ботов запрещен доступ чтобы они не нагружали сервер. Такое может быть?

Может. Очистите печеньки, отправьте запрос от Яндексовского User-Agent, посмотрите возвращаемый код.

Лёлик2:
Карту сайта и robots.txt Яндекс загружает без ошибок, сайт открывается в браузере нормально.

Это не влияет на получение роботом страниц.

Л2
На сайте с 26.01.2008
Offline
118
Лёлик2
#3

Я по прежнему деревяный в тонких настройках. Логов у себя на хостинге так и не нашел, хотел посмотреть статистику WebStat оказалось она была выключена и ничего не отслеживалось.

Fruit:
Может. Очистите печеньки, отправьте запрос от Яндексовского User-Agent, посмотрите возвращаемый код.

Не знаю правильно ли я провел эксперимент но сделал так:

Скачал для firefox UserAgent Switcher выставил в нем UserAgent=Mozilla/5.0 (compatible; YandexBot/3.0)

Включил HTTPAnalyzer и зашел на свой сайт.

HTTPAnalyzer показал: 

ЗАПРОС:

(Request-Line):GET / HTTP/1.1

Host:mysite.ru

User-Agent:Mozilla/5.0 (compatible; YandexBot/3.0)

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept-Language:ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3

Accept-Encoding:gzip,deflate

Accept-Charset:windows-1251,utf-8;q=0.7,*;q=0.7

Keep-Alive:115

Connection:keep-alive

ОТВЕТ:

(Status-Line):HTTP/1.1 200 OK

Server:nginx

Date:Tue, 28 Sep 2010 18:46:04 GMT

Content-Type:text/html

Transfer-Encoding:chunked

Connection:keep-alive

Vary:Accept-Encoding

Last-Modified:Mon, 27 Sep 2010 21:54:42 GMT

Cache-Control:max-age=1

Expires:Tue, 28 Sep 2010 18:46:05 GMT

Content-Encoding:gzip

Получил ответ 200 я правильно провел эксперимент?

Fruit
На сайте с 15.07.2008
Offline
166
Fruit
#4
Лёлик2:
Получил ответ 200 я правильно провел эксперимент?

Похоже, что правильно. Сайт-то большой? crawl-delay прописан? Может сервер загибается, когда Яндекс начинает выкачивать страницы?

Л2
На сайте с 26.01.2008
Offline
118
Лёлик2
#5
Fruit:
Сайт-то большой?

Сайт 16 html-страниц по 4-12КБ.

crawl-delay прописан?

Нет, думаете из-за этого может быть? Раньше ведь все ок было и сервер медленнее вроде не стал.

А сколько его ставить? Яндекс пишет что чем меньше тем больше у робота свободы и больше он проиндексирует, а если много поставить то может все не успеть - он ведь занятой блин!

Fruit
На сайте с 15.07.2008
Offline
166
Fruit
#6
Лёлик2:
Сайт 16 html-страниц по 4-12КБ.

Вопрос с нагрузкой сервера отпадает. Попробуйте сменить хостера, проблема именно в нем (т.к. сайт на html и 503 не может выдать в принципе).

Л2
На сайте с 26.01.2008
Offline
118
Лёлик2
#7
Fruit:
Вопрос с нагрузкой сервера отпадает. Попробуйте сменить хостера, проблема именно в нем (т.к. сайт на html и 503 не может выдать в принципе).

Понятно подожду еще, ведь я хостера вчера поверил нормално все было, гугл тоже никаких проблем не имеет, может Яша тупит еще.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий