Старые страницы в индексе

сделать, чтоб страницы отдавали 404 код, а потом удалить через панель вебмастера.

на вскидку - до месяца и страниц в индексе нет.

Да вроде код 404 отдается, но все равно в панели показывает восемь тысяч проиндексированных и больше двух тысяч ошибок. Хотя в сайтмапе показывает около 300 страниц.

значит ждите и закройте доступ к роботс.

через неделю - две начнут отпадать

и бот не получит 404 так как запрет на сканирование стоит.

Ну бот получает 404, а страницы из индекса выбрасывать не хочет. По внутреннему статмодулю, гуглбот с упорством идиота каждый день ходит по по одним и тем же несуществующим страницам и его не волнует, что их давно нет.

Возвращайте 410.

Согласно стандартам - 404 это "страница почему-то не найдена", а 410 - "да, такая страница тут была, но ее больше нету и пожалуйста - забудьте об ее существовании, еслы вы бот".

В теории - Гугл утверждает, что его бот реагирует на 404 и 410 одинаково, но на практике 410-е удаляются из индекса раза в 3-4 быстрее.

бот не идиот он нашел где-то ссылку и понять пытается, что Вы со страницей сделали? А вдруг Вы ее специально спрятали от него? Как вариант если страница выдает 200 вместо 404 вот и приехали.

На эти страницы нет ссылок нигде и быть не может, большинство этих страничек страницы которые генерировал статмодуль старой ЦМСки. А в панели вебмастера в разделе ошибки сканирования код ответа этих страниц 404.

Mikich, урл сайта и урл удаленной страницы в ЛС плиз.

Подскажите как лучше, есть новый сайт http://www.optom.net.ua/, 3 недели как запустили, до этого был другой сайт !

Старый страницы отдают 404, но не хотят удалятся с индекса !

В robots запретил индексацию старых (несуществующих) страниц

Disallow: /index.php

Disallow: /index.php?

Теперь вопрос, может пока не нужно закрывать от индексации старые страницы с 404 ?