Проблемы с Мастерхостом и роботами Яндекса.

К сожалению, компенсации для таких случаев не предусмотрено.

Dangel:
Коротко и ясно, даже без извинений

Dangel:
как Вы будите компенсировать вылет всех сайтов из яндекса по Вашей вине (блокировке ip адреса бота яндекса)

IndexSa:
savage, а они в следующий ап вылетят, у меня так и случилось. Это идиотизм какой- то :(

Компания "Мастерхост" по ошибке заблокировала доступ индексатора "Яндекса" к сайтам, заказавшим у хостера услугу виртуального хостинга.

По словам Сергея Кошкина, гендиректора оптимизаторской компании "Смартсео", c начала мая часть клиентов компании выпала из поискового индекса "Яндекса", так как "Мастерхост" просто перестал пускать робота "Яндекса" на соответствующие сайты. Техподдержка провайдера объяснила действия хостера тем, что он блокирует роботов "Яндекса", так как считает их действия похожими на DDoS-атаку.

Александр Садовский, руководитель отдела веб-поиска "Яндекса" в комментарии коллективу блога Roem.ru отметил, что "Яндекс" действительно внес изменения в алгоритм работы ботов:
Новый контент на сайтах появляется в основном днем. Чтобы более своевременно и полно индексировать свежую информацию, мы перенесли часть ночного обхода робота на дневное время (изменения мы внедряли плавно, в течение месяца, а именно со 2 апреля по 4 мая).

Это изменение практически не сказалось на общем количестве обращений робота к сайтам - оно только перераспределило нагрузку между дневным и ночным временем в сторону первого. Несложные защиты от DDoS-атак могли ошибочно счесть за атаку увеличение числа обращений от робота в дневное, пиковое, время - и запретить обращение к сайту.

Если хостинг блокирует обращение надолго, то сайт может исчезнуть из результатов поиска. Мы не наблюдаем сколько-нибудь заметного "выпадения" сайтов, следовательно, бульшая часть хостингов перенесла изменения нормально.

После того, как руководство "Мастерхоста" узнало о проблеме из закрытой рассылки ЕЖЕ, по словам Сергея Кошкина, с ним сразу же связались представители компании, сообщили о внесенных исправлениях и извинились за доставленные неудобства.

Интересно, что некоторые особо дальновидные авторы уже давно предсказывали битвы роботов, состязающихся в битвах за контент. Правда, вмешательство людей в эти битвы пока все еще нивелирует зрелищность данного вида спорта, однако не стоит сомневаться, что по мере усложнения архитектуры агрегаторов контента, последствия ошибок роботов будут все более масштабными.