Почему Гоше пофиг на robots?

Kost: да, это те адреса, которые закрыты к индексации. Да. действительно, похоже, что он знает только адреса, без тайтлов и прочего.

cheredov: проверил, эти страницы запрещены.

Т.е. правильно я понял, что гугл все правильно учел из роботса? И индексирует то, что надо, а остальные страницы это просто адреса и реально в индексе их нет?

Соответственно как дубль контента он это не воспримет?

Поторопился я: все-таки есть страницы запрещенные в роботе, но в выдаче они и с тайтлами и снипетом.

Ну наконец-то. Ура, разобрались! :)

А как быть вот с этим?

Со дня запрета прошло хотя бы месяца три?

контент закрытых страниц он не индексировал, если они закрыты в роботсе, но урлы запомнил)) я помню давали официальный ответ и приводили в пример, если ebay.com закроет всё в роботсе и какой-нибудь юзер придет и вобьёт "www.ebay.com" то гугл будет выглядеть тупо если не даст ответ)) как-то так

пс эти юрлы обычно в соплях :)

Во время работы над сайтом, он весь был закрыт от индексации.

Открыл его для индексации недели 3 назад. В роботсе были сразу прописаны все эти директивы.