гугл не смотрит на роботс.тхт?

Удалять через ВМТ, может второй раз не полезет.

а если просто ждать, он их удалит?

---------- Добавлено 21.08.2012 в 21:17 ----------

в гугл вебмастере есть функция просмотра страниц "глазами гуглбота"

туда забиваю заблокированные страницы и...Страницу не удалось просканировать, так как она заблокирована с помощью robots.txt. Подробную информацию см. в статье Справочного центра о robots.txt.

ну так каког ж черта он их выкладывает, спрашивается..

---------- Добавлено 21.08.2012 в 21:21 ----------

вообще есть такая мысль

что я пока заливал сайт, доработки последние на нем делал, (и пока роботса еще не было) гугл успел зайти и просканировать сайт, и теперь эти страницы выкладывает. но это был ПЕРВЫЙ день регистрации домена, и я его никуда не добавлял. но гугл возможно настолько быстрым бывает..

в таком случае просто ждать? если он их до появления роботса закачал, может поэтому и выкладывает, и скоро удалит как поймет что все же они запрещены?

Не так давно в обсуждениях было такое

В том же посте решение от гугла

ну у меня другая ситуация похоже

он просто шустро успел сайт просканировать, до того как я роботс залил

(я выше описал ситуацию)

в таком случае мне просто подождать? или лучше запросы на удаление из поиска им отправлять?

Конечно другая.. по ссылке на английском:

что в корне отличается от Вашего

Речь о том, что страницы, запрещённые в robots.txt в индексе будут висеть. Рекомендую ещё разок почитать.

поясните пожалуйста в чем отличие между

и

учитывая, что это одна и та же фраза просто на разных языках?

webmbilo, уже писал. очень часто возникает ситуация что несмотря на наличие в роботс запрета на сканирование бот добавляет страницы в ПС. Это происходит по разным причинам. Главная как я понял есть минимум два бота один пробегает собирает ссылки, второй уже бегает по сайту. Что делать? Поставить в страницу noindex как и писали выше и удалить из роботс запрет на индексацию. Бот придет просканирует страницу увидит запрет на индексацию и выкинет ее из индекса. Это работает для бота гугла как с яшей я незнаю.

Была подобная ситуация. Страниц в индексе у Яши 3к, а у Гугла было 27к. Дублей немеряно (генерились то компонентами то хрен знает чем и как их Гуглбот находил). Все было пофиг, пока не начался весь этот зверинец с Пандами и Пингвинами. Сейчас вот тоже борюсь с этим всем. Написал Роботс нормально, а также много удаляю руками через ВМТ (потому что по куску текста с раздела дубли всплываю выше. Потому смотрите сами. Ждать пока он их сам выкинет из индекса наверное будет очень долго.

это страница вида site.ru/article/feed/

она по сути без контента сама

ее через google reader или что-то подобное надо открывать чтобы прочитать

на нее я даже не знаю как поставить noindex

гугл часто игнорит роботс, мало того, индексирует его с большой охотой, стоит только дать на него ссылку.