Не так давно тоже интересовались этой темой, если интересно, вот ссылки:
Повторяющийся контент
http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=66359
Для мобильных устройств
http://support.google.com/webmasters/bin/topic.py?hl=ru&topic=2370586&parent=2371375&ctx=topic
В общем чтобы избежать дабл контента, гугл рекомендует использовать Каноникал мета-тег
Спасибо, это именно то, что надо. ☝
Это уже ближе к теме, но а как же клоакинг?
на сколько я знаю, гугл иногда маскируется под рядового пользователя, чтобы проверить соответствие, что показывается клиенту, а что поисковику.
Проблема в том, что надо убить сайт для всех видов заходов (Direct, Поисковый трафик, переход с других сайтов), для пользователей заходящих с американского IP или с канадского.
То есть пользователи будут видеть "Access Denied" при попытке зайти на сайт.
Технически мы знаем, как это сделать, остался вопрос, как сделать так, чтобы при бане Америки, гугл нас не опустил на выдаче google.ch
