Зачем хавать заглушки?

Предупреждаю, что букв будет много, ибо не каждый день я вылетаю из топа не по своей вине. Фигурантов будет всего два: это Яндекс и хостинг-провайдер Sweb. Хороши оба, но поливать грязью я сейчас никого не собираюсь, в каком-то смысле они оба правы, а дурак, как обычно, пользователь, то бишь я. Это было сказано для того, чтобы в комментах не начинались наставления.

Загнать в топ сейчас любой строительный сайт сложно, но возможно, а вот вылететь можно из-за любого пустяка. Сутки простоя сервака - и вуаля! На днях у Sweb накрылся медным тазом сервак DAKAR, где я имел несчастье разместить пару сайтов. Все сайты - строгие СДЛ, продвижение сделано ручками, текстовки отличные, внешняк такой, что укачаешься, Сапа использовалась только для коррелирующих запросов, придраться не к чему... Кроме хостинга. Ну дурак был, не подумал, что эти проекты получат такое мощное развитие. Да и Sweb, в принципе, нормальный хостинг предоставлял. Если б не сбой на сервере...

А теперь внимательно. Когда выбираете хостера, всегда требуйте инфу, что он пишет на случай останова рабочего сервера, и какой код он передает ботам. Sweb до этого момента выдавал свои данные, то есть обычную страницу-заглушку с их рекламой и парой советов для чайников. Я уже тогда почувствовал, что земля уходит из-под ног, и позвонил в саппорт. Заглушку убрали, но шустрый бот Яндекса эту заглушку проиндексировал. Метрика Директа тоже прозвонила и включила контекст (мы покупаем и Директ тоже, чисто по инерции, шефа трудно переубедить), так что еще и на Директ-рекламе влетели.

Ну, конечно, если заглушка отдает код 500, то сайт работает. С сегодняшним апдейтом в сохранке лежит именно эта заглушка от Sweb. Платоны сказали, что ничего страшного, все вернется. Ну, надеюсь, вам не надо объяснять, с какой ценой «все вернется».

Вот у Sweb была такая отмазка, мол, мы ж сервак как только начали поднимать, поставили эту страницу для пользователей, типа, чтобы все видели, что ведутся работы. Ха! Какие, господа, работы? Да и пользователю, который пришел на мои сайты вообще-то фиолетово. И не работы там ведутся, а стоит обычная заглушка для сайтов, у которых не проплачен аккаунт. Разумеется, со своей рекламой. Фактически, все то время я пиарил компанию Sweb, хоть и с нецелевыми, но факт остается фактом. А что мешало им поставить 404-ю? Отличный, и главное, предусмотрительный хостинг.

Винить бота Яндекса за то, что схавал заглушку, бессмысленно, но все же в свете их новых потугов на интеллектуальной почве хотелось бы посоветовать добавить в алгоритм модуль проверки на сбой. Задача эта сложная, но вполне выполнимая. Ее можно решить двумя путями:

1) Анализ контента и сверка с NS-серверами. Просто, как в аптеке, но здесь могут возникнуть вилы с сайтами IT-тематики, да и с сайтами самих хостеров.

2) Сверка по сходному или тождественному контенту. Это более сложный путь, кравлер при этом должен думать, либо само решение об индексации должно приниматься уже после внесения в базу. Суть в том, что при отказе серверов обычно «влетают» сотни и даже тысячи сайтов. Если при этом находятся такие умники вроде Sweb, что ставят заглушки, их текст будет стандартным для этих сотен или тысяч. Тут вопрос только в том, что бот за это время тупо не может побывать на всех таких сайтах одновременно. Но если решение принимать постфактум, то проблема решабельна.

Млин, пока писал этот пост, еще и Гугль подтянулся. Тоже заглушка в сохранке. Отлично!