Почему гугл держит страницы в индексе которые отдают 404 или запрещены в robots.txt

ага, у меня такое было...роботс запрещает поэтому и висят (тут на форуме так сказали)

открыл в роботс и сделал редирект 301 на морду

onikys, гугл действительно может игнорировать роботс нужно удалить из роботс и поставить на страницу ноиндекс робот зайлет прочитает и удалит. Потом закроете в роботс.

так стоит "<meta name="googlebot" content="noindex">"

например из скрина url http://iphonchik.com.ua/obzor.html?limit=100

И долго уже стоит

onikys, Вам xarraw написал тогда почему не уходит. Вы запретили боту на страницу заходить как он про запрет индексации узнает?

понял! Ок попробую!)

я 2 месяца назад вручную вычистила 125 404 страниц через форму. до сих пор выдает их в "соплях".

а на клиентском сайте проиндексировал все содержимое директории, закрытой через роботс.ткст

в директоии только файлы страниц нет?

там еще изощренней наворотили -полную версию сайта зачем-то скопировали

Julia Web, гугл скопировал?:) если папка в выдаче не нужно то наверно "удаление урл" нужно использовать.

нет,разработчики продублировали со страницы галереи меню со ссылками на вторую копию.

в роботс закрыли,но в индексе все равно были все эти дубли.

роботсбыл составлен нормально,через blocked urls в WMT страница была закрыта, а через site: доступна в индексе и кэше. cейчас после 301 и физического удаления папки с хостинга из индекса все дубли пропали.

это к вопросу об игнорировании гуглем robots.txt