Вопрос по robots.txt и закрытию от индексации.

И как они выглядят в выдаче? Тайтл, сниппет, что там?

Страницы типа /feed не выглядят вообще никак. То есть в результате выдачи там, где title должен быть, просто ссылка. Сниппета нет. Только ссылка.

Страницы категорий выглядят, как обычные страницы. В качестве title имя категории, в качестве сниппета - первые слова на странице.

Там достаточно было указать только директиву

Disallow: /category

Disallow: /category/*/* - не обязательно

если я не ошибаюсь.

Было, что при явном запрете индексации страницы попадали в индекс Гугла. Глюк видимо. Потом сами и пропадали.

Не переживайте, объясняется это просто - гугл индексирует страницы, запрещенные в robots.txt.

Совсем недавно проводил эксперимент - было создано зеркало основного сайта, и весь новый сайт был запрещен к индексации гуглом через robots.txt. Через две недели после создания зеркала в панели основного сайта появились ссылки с зеркала - напомню, что зеркало было полностью запрещено к индексации гуглом (в панели вебмастера гугл настойчиво предлагал исправить эту ошибку). К тому же, на зеркале не было ссылок на основной сайт - то есть гугл, проиндексировав зеркало, понял, что это зеркало. Всего на данный момент на этом сайте, запрещенном к индексации, проиндексировано более 1000 страниц, постепенно количество увеличивается.

Так что все нормально с вашим robots.txt, гуглу он просто не указ :)

Это я просто опешил и прописал Гуглу совсем уж ясно, чтоб понял. Раньше не было второй записи, одной действительно достаточно.

Да, после всех телодвижений тоже пришел к такому выводу.

И кстати, как такой расклад? Гугл выкинул часть страниц категорий, но вместо них положил страницы типа /feed. Лучше бы он так новости добавленные в индекс затаскивал. :)

Гугл показывает в списке проиндексированных и страницы запрещенные для индексации

Если я правильно помню то даже в официальной документации гугла написано, что он может проиндексировать страницу закрытую robots.txt если например найдет такую страницу по ссылке.