Гуглу плевать на robots.txt?

Замечал такую проблему. Покажите сайт (в ЛС?), хочется посмотреть более детально.

у меня в вебмастере - "странички исключены"

У меня та же история описанная вами 1 в 1. Тысячи страниц хлама, запрещенные в роботсе но присутствующие в индексе гугла :(.

Может указать конкретно что запрет именно для гугла? Типа: User-agent: Googlebot

Не пробовали?

Я такое пробовал. В большинстве случаев не помогало. Помогло только исключение из поиска и индексирования средствами CMS.

Да гугл вообще неадекватный, у меня все запрещенное к индексации внаглую внес в индекс!

А мне кажется что правильно так

User-agent: *

Disallow: /go/

Disallow: /tag/

На практике заметил, что недостаточно закрывать только в роботсе, нужно обязательно ставить нофоллов в ссылки на закрытые в роботсе страницы.

Получается, что робот заходит по ссылке на закрытую страницу, потом смотрит в роботс, видит, что она закрыта и уходит обратно. Есть мнение что он вообще смотрит пакет страниц, а потом уже сверяет урлы с роботс. Т.е. таким образом он еще тратит драгоценный лимит сканов для сайта.

Сколько у вас страниц в основном индексе?

Мой сайт гугл сначала полностью в индекс забросил, а сейчас потихоньку выплевывает то, что в роботс запрещено.

Более, чем уверен, они были проиндексированы до создания robots.txt.

Мой совет — забыть про robots.txt навсегда и использовать .htaccess. И не нужно будет ничего вручную удалять.

Это смешно.

Приведите пример пожалуйста. Вот например у меня в индексе тысячи мусорных страниц типа сайт.ru/index2.php?option=com_content&бла-бла-бла

Как доказать гуглу что тут рыбы нет? :)