Google выдаёт закрытую информацию.

Вы действительно недопоняли. Приводите robots.txt для домена второго уровня, а в выдаче по вашей ссылке домены третьего.. там свои роботсы.

1. Robots.txt для Google - только рекомендация не индексировать.

2. Индексировать страницу и показывать её в выдаче - 2 разные вещи, иногда не связанные между собой.

Если на страницу есть внешние ссылки - Гугл всё-равно будет показывать её в выдаче, и не важно, закрыта ли она в robots.

Поскольку эта страница будет ранжироваться по "анкорному ранжированию" алгоритмом Google (хотя бы по НПС).

Ladycharm Подскажите, есть вариант, кроме физического удаления, или клоакинга (не показывать ботам google страницу или показывать но другой контент) убрать то что ненужно из выдачи?

В роботсе можно запретить сканировать сайт - если он уже в индексе, то может там и остаться. Вы можете принудительно удалить нужные документа из индекса через ПВМ (они должны быть закрыты от индексации или выдавать 404, насколько помню). Либо, повесьте на них 404 ответ сервера. Либо можно показывать контент только авторизованным пользователям. :)

YaanGle

Спасибо огромное. Почему сам не додумался((

Вы и правда недопонимаете.....

смотрим какие дирректории здесь закрыты http://inmeyko.tumblr.com/robots.txt

Sitemap: http://inmeyko.tumblr.com/sitemap1.xml

User-agent: *

Disallow: /private

Disallow: /random

Disallow: /day

Crawl-delay: 1

а не на основном домене, Для ПС это ДВА РАЗНЫХ САЙТА

А вот другой вариант тогда, без доменов 3-го уровня

Смотрим, закрыто /bitrix

Делаем запрос site:searchengines.ru/bitrix

Вот пожалуйста

Админка

Стили

Блин, мне за этот пример по ушам не надают?

гугл всегда ходил где хотел, пофиг ему на роботс

Я, просто не привожу свой сайт в пример. А там всё гораздо хуже. Сайт с UGC. Весь хлам я собирал в 1 категорию, из разряда, человек зашёл зарегистрировался, что-то выложил, а потом забил. Если тупо всё удалять- мало ли, человек зайдёт снова, и начнёт добавлять, он будет расстроен, если я удалю его контент. Так вот, таких пользователей больше гораздо, чем тех, кто делает всё аккуратно и регулярно. И эта категория с хламом, за годы уже очень сильно разрослась. И сейчас на неё пошли заходы из google. И заходов больше чем на нормальные категории. Соответственно увеличились отказы.

---------- Добавлено 02.04.2014 в 20:33 ----------

Так я знаю что он ходил. И по логам можно посмотреть, но чтобы он выкладывал в основной индекс, и на него шли люди, такое у меня впервые.

Запрещайте индексацию нужных страниц мета-тегом. Это избавит от попадания оных в индекс, даже в виде "голых" url.