Robots.txt: неправильный Host => неработающий Disallow

Небольшое case study про robots.txt — кажется, многим будет полезно. Если уже обсуждалась такая ситуация — то прошу прощения.

Некоторое время назад (примерно 3 недели назад) Яндекс ни с того ни с сего сменил основное зеркало у одного моего сайта. Было www.***.spb.ru, стало ***.spb.ru. При этом в robots.txt было честно прописано «Host: www.***.spb.ru».

Я решил упорствовать и оставил «Host: www.***.spb.ru» в robots.txt. Заодно решил снести линкпомойку с сайта (давно пора было), каковую прописал в «Disallow» (ну и 404 ошибку тоже сделал). Подал запрос в webmaster.yandex.ru/delurl.xml. Там сказали все ок, удалим.

Яндекс с тех пор так и не забыл эту помойку, не обращая внимания на «Disallow». При этом моя практика показывает, что обычно удаление из индекса запрещенного в robots.txt происходит гораздо быстрее.

Пару дней назад я убрал «Host: www.***.spb.ru» в robots.txt и — о чудо! — сегодня Яндекс уже потерял линкпомойку.

Мораль сей басни может быть такова: если «Host:» не согласован с тем, что про сайт думает сам Яндекс, то на «Disallow» ему наплевать. Если, конечно, сюда не примешались всякие другие факторы.

Пойду теперь воткну «Host:» обратно. 8)