Происходит ли игнорирование robots.txt?

Мистер Х, глаза раскрой

FlyAway, чукча не читатель :) А вообще ничего удивительного, удаляет он по мере обхода, а это может быть и очень долго.

Miha Kuzmin (KMY), согласен, я бы на месте топикстартера запасся терпением)

на моем сайте Я пытался индексировать страницы, которых уже небыло, получал 404ю но все равно выводил их в поиске по нескольким запросам,

на http://webmaster.yandex.ru/delurl.xml ткнул эти страницы стразу посте того как удалил, закончилось вся эта эпопея через 2,5 месяц.

Топикстартер, ждите....

ясно, спасибо.

Вообще-то меня удивило это сообщение. Когда я прописал запрет на индексацию, через 10-15 дней сайт исчез из всех поисковиков полностью. И что самое неприятное, запрет я поставил ошибочно. :)

Peter1000, все зависит от многих факторов: от сайта, от яндекса, от расположения звезд наконец ;)

А по поводу директивы host: кто что знает?

Яша на нее почему-то откровенно положил.

И даже убрал упоминание о ней :)

это если выдавать код 404 и не пользоваться вторым пунктом в форме.

Через форму максимум на втором апдейте должно удалить всю папку.