500я ошибка у ботов яндекса

12
C
На сайте с 26.12.2005
Offline
132
195

Добрый день всем

Подскажите куда рыть. 

Яндекс бот время от времени натыкается на 500ю ошибку, из-за чего страницы вылетают из поиска. 500е ошибки возникают хаотично на разных страницах.

Вживую проблему повторить не получается, все работает четко и быстро.  У гугла тоже проблем не возникает.

В логах сервера пишется, что бот получил ответ сервера 500, но при этом никакая ошибка в этот момент не фиксируется.

Может, у кого-то догадки есть?

Лучший хостинг, которым пользовался за последние 15 лет! (https://beget.com/p107248)
LEOnidUKG
На сайте с 25.11.2006
Offline
1586
#1

Сервер не выдерживает быстрые переходы от Яндекса и падает. 

Смотрите логи сервера.

✅ Трастовых площадок под размещение статей и ссылок. Опыт 12 лет! ( https://searchengines.guru/ru/forum/675690 ) ⭐ Купить вечные трастовые ссылки для сайта ( https://getmanylinks.ru/?srh ) ⭐ Ускорение ваших сайтов (WP, Opencart и др.) + Настройка сервера ( https://searchengines.guru/ru/forum/997205 )
C
На сайте с 26.12.2005
Offline
132
#2
LEOnidUKG #:
Смотрите логи сервера.

в том и дело.

ошибок в логах нет. только факт ответа 500й ошибки для бота.

когда 500 ошибка провоцируется реально тяжелыми скриптами, в логах всегда записано происшествие. а тут пусто.

На сайте работают десятки человек в это же время и никто на ошибку не натыкался никогда. 

Евгений Крупченко
На сайте с 27.09.2003
Offline
168
#3

Вам дали правильное направление куда рыть... что еще вы хотите услышать?

Никто здесь ни малейшего представления не имеет что у вас там за сайт, не имеет никаких исходных данных.

Ваши десятки человек запросто могут просто никогда не запрашивать страниц, на которые заходит яндекс и получает error 500. Простейший пример - sitemap. Зачем в принципе их людям запрашивать, вот ботам - да.

Никто не знает что в вашем понимании "происшествие", предположу что вы имеете в виду лог ошибок веб-сервера.

Но запросто может быть, что cms перехватывает ошибки (возможно даже ведет где-то свои логи) и в error.log ничего не попадет, хотя ответ 500 клиенту уйдет если была всеж ошибка.

Короче...

LEOnidUKG #:
Смотрите логи сервера.

Все логи.

Открываете access log и смотрите, там обычно после uri и версии http идет код ответа и потом размер отправленных данных в байтах. Если конечно как-то иначе custom'но не настроено логирование.


И именно тут ищите свои 500 ошибки, а не в логе ошибок.

Наверняка найдете. После чего пробуйте вручную открыть ту страницу и что там будет в ответ приходить смотрите и в браузере и в логе том же.

Т.к. есть еще вероятность, что страница отдается нормально, но по какой-то причине в заголовках отдается ответ 500, а не 200.

Вариантов возможных много, но первым делом ваша задача найти конкретные страницы с ответом 500 в ваших логах.

C
На сайте с 26.12.2005
Offline
132
#4
Евгений Крупченко #:

Вам дали правильное направление куда рыть... что еще вы хотите услышать?

Никто здесь ни малейшего представления не имеет что у вас там за сайт, не имеет никаких исходных данных.

Ваши десятки человек запросто могут просто никогда не запрашивать страниц, на которые заходит яндекс и получает error 500. Простейший пример - sitemap. Зачем в принципе их людям запрашивать, вот ботам - да.

Никто не знает что в вашем понимании "происшествие", предположу что вы имеете в виду лог ошибок веб-сервера.

Но запросто может быть, что cms перехватывает ошибки (возможно даже ведет где-то свои логи) и в error.log ничего не попадет, хотя ответ 500 клиенту уйдет если была всеж ошибка.

Короче...

Все логи.

Открываете access log и смотрите, там обычно после uri и версии http идет код ответа и потом размер отправленных данных в байтах. Если конечно как-то иначе custom'но не настроено логирование.


И именно тут ищите свои 500 ошибки, а не в логе ошибок.

Наверняка найдете. После чего пробуйте вручную открыть ту страницу и что там будет в ответ приходить смотрите и в браузере и в логе том же.

Т.к. есть еще вероятность, что страница отдается нормально, но по какой-то причине в заголовках отдается ответ 500, а не 200.

Вариантов возможных много, но первым делом ваша задача найти конкретные страницы с ответом 500 в ваших логах.

спасибо. буду рыть.

Страницы искать не нужно, они и так известны. Это и главная и основные разделы. Люди через них ходят большим потоком. 

Буду искать

Евгений Крупченко
На сайте с 27.09.2003
Offline
168
#5

Ну мы же не знали таких подробностей... я сразу предположил, что страницы какие-то внутренние, на которые редко натыкаются только яндексботы всякие, а не люди.

Но если главная, то да, кто-нибудь бы уже заметил.

Вы всеж в логах посмотрите, много ли там этих 500 ошибок на главной. И у кого они возникают, только у яндексбота или у других тоже?


Надо вникать как конкретно сделан сайт, правит ли cms (cms ли вообще?) например error_reporting или еще как-то перехватывает ошибки.

Т.к. пока складывается впечатление, что запрашивается например главная, она генерируется, возникает ошибка, она перехвачивается (в error.log ничего не попадает) и страница продолжает создаваться и отдается клиенту. Т.е. он видит страницу, ну а 200 был ответ или 500 в браузере не видно. Страница и страница...


Что можно попытаться. Если "цивильно" запретить cms перехват ошибок не получится (включить какой-то debug mode например), то можно попробовать на уровне php запретить например функцию error_reporting для начала - добавить disable_functions=error_reporting в php.ini

Ну и глянуть среди файлов/папок самого сайта, нет ли там нигде никаких log[что-то там]. Может всеж cms ваша записывает все эти происшествия, вы просто не замечаете их. И там уже наверняка будут подробности, когда и в чем конкретно возникают ошибки.

Евгений Крупченко
На сайте с 27.09.2003
Offline
168
#6

Пример того, о чем говорю - opencart.

В папке storage есть logs и там можно найти много того, чего не будет в error.log веб-сервера.

Но кто знает что там у вас...

Vladimir
На сайте с 07.06.2004
Offline
371
#7
Charli :

Подскажите куда рыть. 

Яндекс бот время от времени натыкается на 500ю ошибку, из-за чего страницы вылетают из поиска.

Может, у кого-то догадки есть?

Ройте в сторону кэша, хз что с ним, но при сбросе ошибка 500 исчезает.
Ошибка при этом возникает не для всех роботов Яндекса.

Проверка ответа сервера в вебмастере
Вживую проблему повторить  получается если опросить всех ботов

Главный бот, хоть постоянно запрашивай отдает 200, остальные тоже 200, но есть один который отдает 500 ( последний раз это был робот поиска по блогам ).
Чем они отличаются? явно IP. Но насколько я прав, при блокировке IP отдается 403. Ну никак не 500

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
alaev
На сайте с 18.11.2010
Offline
485
#8
Была похожая ситуация, в логах сервера ни одной 500 ошибки не было. Яндекс: она есть. Написал хостеру. Хостер тоже ответил, что такая ошибка не возникает.
И тут ошибка и у Яндекса пропала.
Но с Яндексом так часто, то мобильная вёрстка вдруг перестала быть мобильной, то фавиконка не нравится, то зеркала расклеит, то ssl-сертификат не нравится.
Продвижение сайтов - https://alaev.net
Mik Foxi
На сайте с 02.03.2011
Online
924
#9

Ошибку 500 надо искать в   error.log а не в access.log

скорее всего падает сервер от бешенного поведения яндекса. время возникновения ошибки может совпадать с временем увеличения нагрузки, если статистика по нагрузке есть на сервере.

Антибот защита сайта от накрутки поведенческих, от спама, взлома и поиска xss, от хит и клик ботов, от парсинга и кражи контента, снижение нагрузки на сервер - https://antibot.cloud/ Вам все еще конкуренты генерят отказы?
S8
На сайте с 28.02.2020
Offline
9
#10
Яндекс постоянно подобную чушь пишет. Несерьёзная компашка доживает свои последние дни в рунете. Скорее бы уже.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий