500я ошибка у ботов яндекса

Сервер не выдерживает быстрые переходы от Яндекса и падает. 

Смотрите логи сервера.

в том и дело.

ошибок в логах нет. только факт ответа 500й ошибки для бота.

когда 500 ошибка провоцируется реально тяжелыми скриптами, в логах всегда записано происшествие. а тут пусто.

На сайте работают десятки человек в это же время и никто на ошибку не натыкался никогда. 

Вам дали правильное направление куда рыть... что еще вы хотите услышать?

Никто здесь ни малейшего представления не имеет что у вас там за сайт, не имеет никаких исходных данных.

Ваши десятки человек запросто могут просто никогда не запрашивать страниц, на которые заходит яндекс и получает error 500. Простейший пример - sitemap. Зачем в принципе их людям запрашивать, вот ботам - да.

Никто не знает что в вашем понимании "происшествие", предположу что вы имеете в виду лог ошибок веб-сервера.

Но запросто может быть, что cms перехватывает ошибки (возможно даже ведет где-то свои логи) и в error.log ничего не попадет, хотя ответ 500 клиенту уйдет если была всеж ошибка.

Короче...

Все логи.

Открываете access log и смотрите, там обычно после uri и версии http идет код ответа и потом размер отправленных данных в байтах. Если конечно как-то иначе custom'но не настроено логирование.

И именно тут ищите свои 500 ошибки, а не в логе ошибок.

Наверняка найдете. После чего пробуйте вручную открыть ту страницу и что там будет в ответ приходить смотрите и в браузере и в логе том же.

Т.к. есть еще вероятность, что страница отдается нормально, но по какой-то причине в заголовках отдается ответ 500, а не 200.

Вариантов возможных много, но первым делом ваша задача найти конкретные страницы с ответом 500 в ваших логах.

спасибо. буду рыть.

Страницы искать не нужно, они и так известны. Это и главная и основные разделы. Люди через них ходят большим потоком. 

Буду искать

Ну мы же не знали таких подробностей... я сразу предположил, что страницы какие-то внутренние, на которые редко натыкаются только яндексботы всякие, а не люди.

Но если главная, то да, кто-нибудь бы уже заметил.

Вы всеж в логах посмотрите, много ли там этих 500 ошибок на главной. И у кого они возникают, только у яндексбота или у других тоже?

Надо вникать как конкретно сделан сайт, правит ли cms (cms ли вообще?) например error_reporting или еще как-то перехватывает ошибки.

Т.к. пока складывается впечатление, что запрашивается например главная, она генерируется, возникает ошибка, она перехвачивается (в error.log ничего не попадает) и страница продолжает создаваться и отдается клиенту. Т.е. он видит страницу, ну а 200 был ответ или 500 в браузере не видно. Страница и страница...

Что можно попытаться. Если "цивильно" запретить cms перехват ошибок не получится (включить какой-то debug mode например), то можно попробовать на уровне php запретить например функцию error_reporting для начала - добавить disable_functions=error_reporting в php.ini

Ну и глянуть среди файлов/папок самого сайта, нет ли там нигде никаких log[что-то там]. Может всеж cms ваша записывает все эти происшествия, вы просто не замечаете их. И там уже наверняка будут подробности, когда и в чем конкретно возникают ошибки.

Пример того, о чем говорю - opencart.

В папке storage есть logs и там можно найти много того, чего не будет в error.log веб-сервера.

Но кто знает что там у вас...

Ройте в сторону кэша, хз что с ним, но при сбросе ошибка 500 исчезает.
Ошибка при этом возникает не для всех роботов Яндекса.

Проверка ответа сервера в вебмастере
Вживую проблему повторить  получается если опросить всех ботов

Главный бот, хоть постоянно запрашивай отдает 200, остальные тоже 200, но есть один который отдает 500 ( последний раз это был робот поиска по блогам ).
Чем они отличаются? явно IP. Но насколько я прав, при блокировке IP отдается 403. Ну никак не 500

Была похожая ситуация, в логах сервера ни одной 500 ошибки не было. Яндекс: она есть. Написал хостеру. Хостер тоже ответил, что такая ошибка не возникает.

Ошибку 500 надо искать в   error.log а не в access.log

скорее всего падает сервер от бешенного поведения яндекса. время возникновения ошибки может совпадать с временем увеличения нагрузки, если статистика по нагрузке есть на сервере.

Яндекс постоянно подобную чушь пишет. Несерьёзная компашка доживает свои последние дни в рунете. Скорее бы уже.