Что будет если робот Yandex попробует проиндексировать сайт, когда тот недоступен?

Плохо будет, страницы будут удалены. Правда, невероятно, что так быстро. Посмотрите, сколько страниц вашего сайта на данный момент известно Яндексу.

То есть если в течение часа, допустим, были проблемы с хостингом, а в это же самое время робот Яндекса решил прогуляться по сайту, то он может удалить сайт из базы?

Я думал, что у робота должен быть какой-то проверочный возврат на сайт...

Он удалит страницы, которые ему ответили неправильным кодом. У меня как-то такое было, сайт был недоступен около недели и вылетел из Яндекса. Думаю, проверочных заходов не было (либо они попали в ту же неделю).

Ну неделя - это довольно долго. Я же говорю о более коротком промежутке времени.

Просто неправильно, если в течение нескольких часов или даже в течение дня сайт не доступен, и робот, приходя, это видит, то страницыв удаляются из базы. Ведь нужно сделать проверочный заход, вдруг у сайта действительно какие-то временные проблемы, а на нем уже сразу ставят крест...

Не то чтобы сайт давал 404, а он давал 403 в ответ. Причем я подозреваю, что именно недоступность по таймауту - это одно, а просто отсутствие нужной страницы, когда сервер честно отвечает 404, это другое. Почему я думаю, что повторных заходов не должно быть (когда сервер ответил не 2XX кодом) - потому что Яндексу это не надо :) - сервер ведь знает, что страница удалена...

Так я и имею ввиду, что по тайм-ауту не должно ничего произойти...

А с 404 ошибкой все и так ясно... При 404 конечно удалит...

Полуофф: И получаса бывает достаточно... У меня было: в какой-то момент, при замене index в корне, произошел сбой и пол-часа была открыта вся файловая структура сайта. Так надо же было Яндексу именно в это время зайти... Я затрахался потом вычищать из его базы собственную файловую структуру и болванки страниц без навигации...

спасибо за подробные ответы...

а может быть связано отсутсвие сайта в Интернет (проблемы с хостингом) с резким падением в результатах поиска в Yandex? Причем по всем запросам?

Может дело в том, что при индексации сайтов, содержащих ссылки на мой сайт, робот его не обнаружил и перестал учитывать эти ссылки?

Может быть и не связано. На прошлой неделе произошли довольно существенные изменения в выдаче буквально по всем однословным и многим двухсловным запросам. Выглядит так, что значительно повысилось влияние каталожного описания. Если Ваш сайт не описан в каталоге, либо его описание криво составлено, то сайт мог вполне просесть в результатах поиска.

Отсутствие сайта в индексе совсем не мешает ему находиться посредством ссылочного ранжирования. Если только, сайт не находится при этом в бан-листе.

а как проверить находится ли сайт в бан-листе?