Резкое увеличение "исключенных страниц" в Я.Вебмастер, что это?

404 - значит роботу не удалось прочитать страницы - м.б. сервер глюканул.

урлы не изменились?

сейчас эти страницы отдают код 200? если да, то можно успокоиться

Успокоиться не могу, так как траф привлекался именно на страницы товаров. А их 700 выпало.

Сейчас ответ 200. Урлы не менялись.

Может ли быть причиной выпадения схожесть документов? или в данном случае четко обозначено, что из-за ошибки 404 поэтому только потому что недоступны документы были.

но опять же, посмотрите, пожалуйста, динамику, не хорошая она, что же в следующий АП ещё выпадет? просто их количество только увеличивается.

ps Может ли быть такой вариант - у нас "галимый" сайт в плане работоспособности (устойчивости к нагрузкам), а робот Яндекса его нагружает так, что хостер просто не дает роботу "прочитать" все урлы сайта в АП?

вернутся со следующими апдейтами.

в вашем случае - нет.

именно так

вполне возможно, даже скорее

нужно смотреть логи, анализировать...

Я сомневаюсь, что страницы могли выпасть из-за схожести. Надеюсь, вы тексты в Я.Вебмастер добавляете? :)

Попробуйте вручную добавить страницы или соц. сигналами усилить для быстрого эффекта. Если не войдут, тогда уже будете писать Платонам.

Озвучьте, пожалуйста, среднюю посещаемость сайта, тогда будет ясно, причины в хостере или нет. Даже на самом фиговом хостинге робот полноценно сканирует страницы и не несет существенной нагрузки на хостинг.

Этого не умею.

Посмотрю, что пишет в аккаунте хостер про нагрузку. Как найти момент когда был робот, не знаете?

ищите в логах из списка роботов: http://help.yandex.ru/webmaster/robot-workings/check-yandex-robots.xml#robot-in-logs

в данном случае речь про товары, у них нет текстового контента (описания)

700 страниц вручную?

300 юзеров сутки. Посмотрел у хостера - максимально допустимая нагрузка 3%, реально существующая 0,11%, 0,08% - в зависимости от времени дня.

Я не имею представления, как робот сканирует сайт ,в моем понимании заходит на сайт и парсит 7000 документов. Вот тогда то нагрузка и получается бешенная. Но в отчете хостера нет превышения лимита по нагрузке, вот я и в недоумении.

---------- Post added 23-10-2014 at 19:31 ----------

ps 22 октября к исключенным страницам прибавилось порядка 100 урлов. Но опять же смотрю стату хостера по нагрузке - лимит не превышен.

---------- Post added 23-10-2014 at 19:35 ----------

Открыл лог за сегодня, нашел YandexBot/3.0, а что с этой инфо делать? Поясните, пожалуйста, в 2-х словах, на что смотреть?

Была частично похожая проблема.

В первых числах сентября, кое-что обновлял на своем сайте, и допустил ошибку. В результате около 300 страниц начали отдавать 404 ошибку.

Данный бок заметил спустя 4 дня, быстренько поправил. Но, за эти дни яндекс успел добавить эти страницы в исключенные.

Думал через пару апов все вернется на круги своя. Но нет, прошел месяц, страницы по-прежнему исключены. Добавил эти 300 страниц а адурилку, после, прошло вот уже более 2-х недель, а воз и ныне там. Ничего не изменилось. Выборочно ссылки публиковал в твиттере, фейсбуке - не помогает.

grobak, спасибо. Но я проверил урлы, отдают 200 ОК. Конечно не все 700, просто 10-20 выборочно. Думаю, как может получаться так, что во время захода робота отдает 404. Хостер пишет, что не в нем проблема.

А сколько страниц реально в индексе?

Проверьте в Яндексе по запросу url:site.com* | url:www.site.com*

Может это глюк Вебмастера.