Буквально сегодня в WMT смотрел предупреждения о 404-х страницах. Открываю на одной "Ссылающиеся домены" - что за чёрт: ссылка со страницы моего же сайта, которая с рождения закрыта от индексации. Закрытая в robots страница в индексе, в сниппете показывает такую же дрянь, как на скриншоте. Причём на 100% уверен, такой ссылки на битую страницу никогда не было. Спрашивается: WTF??? Ну ладно шариться по запрещённым станицам, но нахрена в индекс-то сувать? Или чё, теперь Гугла надо блокировать через htaccess, аки быдлобота?
А ещё говорят "глючный Яндекс"...
Sower, поддерживаю, тоже такое дело неоднокатно замечал.
За проделанный опыт отдельный респект.
В самом простом случае правильнее было отдать 503. Дальше всё зависит от движка, ресурсов и критичности (крутости) приложения. Чтобы боты просто не заметили простоя, при возможности на старом хосте можно делать что-то вроде read-only, чтобы юзеры не наделали рассогласования данных. Если позволяют каналы - выносить БД на отдельный сервер (ip, домен) и коннектиться к ней одновременно с двух хостов. Всё, что может изменить юзер, но невозможно одновременно отобразить на обоих хостах - в рид-онли на старом ip.
Если думать не о боте, а о юзере - на новом ip поднимать зеркало new.site.ru, на него 302 редирект со старого ip, а после окончательной смены DNS снова редирект с new.site.ru на site.ru. Этот вариант кстати можно реализовать проксированием на уровне сервера, чтобы контент страницы тянулся и обновлялся откуда-нить с temporaryworking.site.ru, одновременно доступного обоим хостам.
В Bing каждый день кто-нить приходит. Чё их теперь всех обсуждать чтоль?
Ждём доработок:
Значит апа ТИЦ не было 2 месяца, потому что Ваш кот каждый день срёт?!
Одна из вероятных причин - слишком много копипаста.
Proofer, эх... Вы мыслите прям как нерусский )) Миллиарды ГСов с говноконтентом и рерайчеными новостями нормально живут в индексе и агрегаторах новостей годами. Осталось самая малость: получить статус СМИ и двинуться на европейский рынок.
Я ж говорю: генерим. Качество новостей любое - "Сосед тёти Клавы нажрался", "Вася Пупкин запустил новый сайт", "Деревню Гадюкино смывает дождями" и т.д. Главное, что это СМИ и Гугл упоминает ссылки на наши статьи ;)
1. Генерим пачку ГСов на французском/немецком.
2. Регистрируем их как СМИ или ИД.
3. Загоняем в индекс Гугла.
4. Профит :)