Вопрос по robot.txt для Google

S
На сайте с 04.11.2009
Offline
85
483

Страницы на сайте имеют следующий вид:

сайт/page/страница1

сайт/page/страница2

итд

при открытии урла: сайт/страница1 - открывается сайт/page/страница1 - Гугл индексирует, как повторяющиеся страницы. Поэтому решил запретить индексацию части страниц при помощи robot.txt.

User-agent: Googlebot

Allow: /page

Disallow: /

Верно ли оставлен? Будут ли в индексе, при таком robot.txt старницы:

сайт/page/страница1

сайт/page/страница2

итд

П
На сайте с 19.04.2005
Offline
104
#1

чтоб наверняка быть уверенным, добавте сайт в вебмастерс и там есть инструмент тестирования robots.txt

проверите там какие страницы открыты для индексации, а какие нет

Вечные ссылки в рассрочку, отобраны только качественные доноры Регистрация по приглашению -> http://gogettop.ru/?ref=18973 (http://gogettop.ru/?ref=18973)
3Danil
На сайте с 30.11.2008
Offline
20
#2

Для google можно поставить атрибут rel="canonical".

zedbiz
На сайте с 29.10.2009
Offline
3
#3
3Danil:
Для google можно поставить атрибут rel="canonical".

3Danil Сори, а есть ли такое для Яши ?

Trean
На сайте с 28.10.2009
Offline
78
#4
zedbiz:
3Danil Сори, а есть ли такое для Яши ?

Насколько я знаю, нет.

Но это раздел о Гугл, так что...

Беру заказы на продвижение, также предлагаю качественные консультации и аудиты сайтов (обращаться в ЛС).
I
На сайте с 14.09.2009
Offline
29
#5
3Danil:
Для google можно поставить атрибут rel="canonical"

Он официально поддерживается также бингом, яху и аском.

zedbiz
На сайте с 29.10.2009
Offline
3
#6
Trean:
Насколько я знаю, нет.
Но это раздел о Гугл, так что...

Я в курсе, поэтому и написал "Сори"

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий