Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Файл робот - закрытие зеркал.

H2
На сайте с 24.12.2008
Offline
31
HBB2
307

Хотел бы уточнить, правильно ли я составляю файл robots.txt

Хочу исключить от робота Yandex следующие зеркала

Site.ru

Site.ru/index.php

И оставить для индексации www.Site.ru и прочие страницы

файл robots.txt

User-agent: *
Disallow:
Sitemap: http://www.site.ru/sitemap.xml
User-agent: Yandex
Host: site.ru

fan
На сайте с 08.07.2005
Offline
142
fan
#1

Таким образом вы запретите к индексации только для робота Яндекса страницу index.php, а также укажите ему на то, что www.site.ru и site.ru - зеркала, при том с www главное.


User-agent: *
Disallow: #

User-agent: Yandex
Disallow: /index.php
Host: www.site.ru

Sitemap: http://www.site.ru/sitemap.xml

В помощь:

http://robotstxt.org.ru/

http://help.yandex.ru/webmaster/?id=996567

H2
На сайте с 24.12.2008
Offline
31
HBB2
#2

Вот что получилось:

Некоторые страница сайта содержат код:

http://www.site.ru/index.php?type=instructor&id=355

т.е. содержат index.php

Следовательно ставя Disallow: /index.php - я закрою все страница.

Думаю мне надо движок переделать и поставить как вы советуете.

я прав?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий