Индексация и удаление URL

История один в один. И структуру изменял, и в robots.txt всё лишнее закрыл, сделал "Удалить URL" - по фигу. Более того, страницы (закрытые и удалённые) одновременно стали появляться в основном и дополнительном индексе.

раньше в индекс страницы попадали в течние 10 минут - сейчас несколько суток. Хотя по логам видно, что бот гугла шарахается на сайте. Яндекс, где-то за недели 2-3, все старые страницы выкинул из индекса.

Хых, наивные чукотские парни. Вы что, думали, что Яндекс вам все за один клик сделает? :)

А вы хоть моск включили перед тем, как это правило добавить? Вы запретили доступ к сайту роботам поисковых систем, но это вовсе не означает, что они вот раз и забыли про то, что в них попало ранее и каждый раз ударяясь о барьер он не будет знать, что у вас на сайте что-то поменялось, а уж тем более, что нужно что-то удалять. И так будет продолжаться не один месяц до полного выпадения из индекса.

Правило disallow НЕ говорит о том, что нужно что-то удалять.

А в свою очередь "Удалить URL" не дает моментального удаления. Это только добавляет задание Яндексу в ближайшие апы удалить вашу ссылку.

Чтобы максимально быстро добиться выпадения сайта из индекса нужно, чтобы по любому открываемому урлу сайта, роботы поисковый систем получали корректную ошибку 404 и никаких disallow.

Нет, за пол клика...

Конечно же нет, а что нужно?....

Капитан очевидность как всегда прав!

А теперь по существу:

выдержка из Я по поводу формы "Удалить URL"

выдержка из Я по поводу доступа к страницам

О том как работает удаление УРЛ:

кормим Я ссылками из формы удаления урл, по мере обхода бот удаляет (или помечает недействительными - точно не знаю) эти ссылки из своей БД индексированных страниц но не выкидывает из выдачи и их видно в панели Я.вебмастер по запросу до следующего апа, поэтому повторное добавление ссылки в форму на удаление урл может выдать ошибку о том, что эта урл не индексирована. Когда происходит АП - удаляются ссылки на ваши страницы и из панели вебмастера и из выдачи (удаляется не обязательно все 100% за первый ап, у меня из запрошенных ~1400-1500 выпало ~1000-1200). Сперва они выпали но потом появились из-за того, что я стал проверять как раз во время АПА, но спустя часов 10 они все-таки пропали.

Ну вообще-то "Удалить URL" не добавляет в базу адрес цитирую:

Поэтому

является одним из 3 вариантов.

Именно я так делал, когда надо было удалить пару сотен страниц. В течении 2 апов всё было успешно удалено из индекса.

Я когда то удалял с помощью disallow, наигрался и намучался.