Удаляются страницы за 500-е ошибки

12
TG
На сайте с 07.11.2016
Offline
126
568

Уж больно агрессивно янднекс начал выкидывать из индекса страницы, которые разок ответили 500й ошибкой. Правда через пару дней добавляет обратно, но все равно это не ок, что в это время страницы нет в индексе, хотя с ней все нормально.

Вроде такого раньше не было, пока я не привязал метрику к вебмастеру. Можно на это как-то повлиять?

SeVlad
На сайте с 03.11.2008
Offline
1609
#1
Toyvo Glumov:
страницы, которые разок ответили 500й ошибкой

Оч. сомневаюсь что "разок". 500я - это фатальная ошибка вызванная либо из-за кода сайта (что чаще всего встречается), либо косяк в ПО хостинга.

Если сразу обнаружено и исправлено - ПСы не выкидывают. Если это дело продолжается долго (неск. дней как правило) тогда конечно.

Может уже сократили до нескольких часов или время зависит от самого сайта - я не знаю, но "разок" не считается.

ЗЫ. Уже с неделю сайт отдаёт 403, но всё, зараза в выдаче.

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
W
На сайте с 08.02.2017
Offline
169
#2

откуда вы знаете, что разок? есть мониторинг страниц каждую минуту?

Toyvo Glumov:
все равно это не ок

не ок, что страницы отдают 500

Комплексный аудит ИМ. Формирование УТП, анализ юзабилити, каналов продвижения. Контекстная реклама, настройка систем аналитики. Консультация - бесплатно, в ЛС
skapunker
На сайте с 15.01.2014
Offline
217
#3
Toyvo Glumov:
Уж больно агрессивно янднекс начал выкидывать из индекса страницы, которые разок ответили 500й ошибкой. Правда через пару дней добавляет обратно, но все равно это не ок, что в это время страницы нет в индексе, хотя с ней все нормально.
Вроде такого раньше не было, пока я не привязал метрику к вебмастеру. Можно на это как-то повлиять?

На сайтах вообще не должно быть таких ошибок, это твой косяк. Если ты не можешь обеспечить нормальную работу сайта виноваты точно не ПС.

S1
На сайте с 02.10.2016
Offline
138
#4
SeVlad:

Если сразу обнаружено и исправлено - ПСы не выкидывают.

А есть какая-то статистика через сколько делается вторая попытка робота обхода страницы отдавшей ошибку 500 ?

Постоянно обмениваюсь ссылками с качественными сайтами по теме электроника, электронные компоненты, и тд.
SeVlad
На сайте с 03.11.2008
Offline
1609
#5
sanek1991:
А есть какая-то статистика через сколько делается вторая попытка робота обхода страницы отдавшей ошибку 500 ?

Насколько я помню боты долбятся вначале часто (чуть ли не каждую минуту), потом всё реже и реже.

Напр Я.метрика мне присылает письма о недоступности сайтов клиентов в течении макс 5ти минут. И когда решается проблема (от неск минут до суток макс) - опять же почти стразу я получаю письмо что всё ОК.

Но если что - я на одну метрику не надеюсь - использую и др. сервисы мониторинга.

S1
На сайте с 02.10.2016
Offline
138
#6
Toyvo Glumov:
Можно на это как-то повлиять?

Есть такая идея - заменить отдаваемый код 500 на 503.

503 - это вроде как штатная ситуация при обслуживании сайта

Но, ещё раз - это на уровне идеи 🤪

SeVlad
На сайте с 03.11.2008
Offline
1609
#7
sanek1991:
Есть такая идея - заменить отдаваемый код 500 на 503.

Больше никогда не озвучивай такие "идеи". Потрать время на изучения матчасти. Хотя бы по педивикии для начала.

S1
На сайте с 02.10.2016
Offline
138
#8
SeVlad:
Потрать время на изучения матчасти. Хотя бы по педивикии для начала.

Ну некоторые вещи я знаю ...

Если есть доступ к nginx, то народ так и делает. Может они не знают матчасти ? )))

Еще добавляет заголовок Retry-After через сколько прийти роботу

location/{
proxy_pass http://backend;
proxy_intercept_errors on;
error_page 502 503 504 =503 @proxyisdown; # always reply with 503
}

location @proxyisdown {
add_header Retry-After 500;
index my_pretty_error_page.html;
}

https://stackoverflow.com/questions/8237761/is-it-possible-to-change-the-http-status-code-returned-when-proxy-pass-gateway-i/19576698

TG
На сайте с 07.11.2016
Offline
126
#9

SeVlad, дело в том, что я ни разу у себя не видел недоступных страниц при переходе из браузера. Выпавшие при проверке доступности в Вебмастере всегда отдают 200.

Тем более этого не происходило, пока я не связал Метрику и Вебмастер. Поэтому подозреваю, что это Яндекс уведомлениями косячит, что для него не редкость.

Все кто уверенно отвечают, что проблема в хостинге, у вас метрика привязана к ВМ?

TG
На сайте с 07.11.2016
Offline
126
#10
sanek1991:
503 - это вроде как штатная ситуация при обслуживании сайта

Там и так всегда 503 в качестве причины указана

jpg 555.jpg
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий