Проблемы с доступностью сайта во время апдаейта яши

Возможно когда боты приходят и начинают индексацию, ресурсов выделенных на аккаунт не хватает. Такое поведение может наблюдаться когда включены лимиты на количество запросов с одного айпи или когда общее количество обращений к сайту залимитировано и превышается при индексации сайта. Возможно также превышение потребления лимитов на процессор или память. Стоит замедлить работу поисковика в таком случае (директива delay в robots.txt может помочь).

если проблемы редки и краткосрочны к примеру раз в 3-4мес то бояться нечего.

если каждый день то лучше переехать или попросить перенести на другой сервер.

Попробую добавить в роботс Crawl-delay, может прокатит. Спасибо за ответы!

Судя по ответу хостера Crawl-delay вам не поможет, потому что нет речи о превышении ресурсов.

"Неполадки" могут быть, потому что яндекс не только на ваш сайт заходит и сервер может просто не выдержать.

Могли и просто "сбрехнуть" :) . В первой линии техподдержки такое может случаться. Вероятность что в момент прихода ботов на конкретный сайт у хостера случились проблемы минимальная. Это же не школьник какой-то, таймвеб, уверен уже давно научился работать с ботами яндекса...

Простите это как?=)) В смысле это промыслы конкурентов?

В том то и дело... просто такой случай уже как минимум 4-й раз как я заметил. Остальные случаи, я думал что совпадение, а сейчас делаю выводы, что это закономерность.

Нет, просто не всегда у первой линии техподдержки есть доступ к "телу" админа. Поэтому если они увидели, что проблема есть, они написали вам об одном (что по их мнению могло ее вызвать), а на самом деле было нечто другое. А так как это только их предположение, то можно приравнять к "брехне" :).

А вы уточните с ними по датам, если это действительно так и сайт превышает какие-то лимиты в такие моменты или, если таймвеб блокирует ботов, то стоит решить эту проблему как-то. Боты яндекса вполне могут грузить и сайт и сервер. В основном, когда много страниц. Почему-то они не особо корректно работают на таких сайтах (например, если страниц больше 100 ) и даже на директиву Delay не обращают внимания. Кардинально это решить нельзя с точки зрения администратора, так как по сути получается что бот яндекса в некоторых случаях превышает лимиты хостинга и в таком случае блокируется. Если повысить лимиты, то просто сервер весь упадет от перегрузки. Особенно если несколько таких любимчиков яндекса на сервере (как правило боты приходят одновременно так как айпи то у сайтов одинаковый).

Яметрика не является сервисом аптайма.

Пользуйте полноценные сервисы.

---------- Добавлено 30.07.2014 в 16:57 ----------

Так это хостинг фигня раз не выдерживает такое.

Можно подумать сканирование идет сразу по всем сайтам на хостинге.

Можно тогда подумать что в яндексе специально валят сайты людей через свой поисковый бот.

rustelekom, Спасибо Вам за развернутый ответ! Буду общаться с тех поддержкой