Фанатик, забыл сказать... Проверь правильно ли настроена 404 ошибка. Что выдаётся по этим урлам и т.п. Дело в том, что если у тебя по такого рода урлам отдаётся скриптами контент или 404 ошибка не отдаёт в хедерах 404, то стоит задумася, что гугл не просто так смотрит в сторону этих урлов.

так делать не надо!

Не стоит. Это не те линки, скорее их вовсе нет или они локальные. ТС может сам глянуть в GWT, где написано 1-2 стр.

Гугл схватывает всё быстро, буквально с первого раза.

Последние версии роботс очень гибкие. Порддерживают регулярные выражения. Извернуться можно как угодно.

Например,

Allow: /dir/$

Disallow: /dir/*

Разрешить к индексации урл http://site.org/dir/, но запретить при этом http://site.org/dir/index.php

Чисто намёк, но думаю понятно! ;)

И не вздумай править robots до того, как от и до прочтёшь всю последнюю (желательно оффициальную) документацию!

Для гугл:

User-agent: *

Allow: /$

Disallow: /*

Забудь, там по одной линке... Если у тебя их не 20-50 штук конечно же.

Лучше закрой в роботс и подожди пока сами отпадут. То, что GWT показало ссылки на эти страницы - это ничего ещё не значит. У меня 40к таких ублюдочных комбинаций какой-то падла-бот намутил ещё год назад.

Такое может быть.

Все случаи не смогу привести. Но, например, есть страницы, которые гугл выбросил из выдачи по нарушению DMCA. В выдаче их нет, но на них есть PR.

PR как бы и по своей логике не всегда соответствует выдаче, поэтому всякое бывает.

Гуглу не совсем всё-равно как к нему отнесутся сёрферы по результатам егот выдачи(Где-то выше была обратная реплика), так как настали времена, когда ему приходится бороться за трафик.

У Гугла за последние годы как раз появляется очень жёсткий конкурент. Пока он идёт в лице фейсбука, но в будующем это может быть какой-то новый поисковик, например, searchbook или ещё как-то, который заюзает для поиска социальные базы. Это будет довольно серьёзный удар по яйцам ботовым поисковикам, простым вебмастерам (не монопольным) и ессесно дорвейщикам. Весомым фактором выдачи (если не основным) станет мнение пользователей, которое будет анализироваться скорее прямо из постов. Сейчас мы это наблюдаем в реализации лайков и +1. Последний отстаёт.

Причина панд ясна, это вливание денег в адвордс. Но сколько может это продлится?

Надо оставить H1, оформить его стилями, если требуется. Но не 5ть раз на странице. 1-2 в норме.