Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как в robots.txt запретить индексацию страниц

A2
На сайте с 25.05.2008
Offline
29
alex27791
35782

Уважаемые специалисты! Подскажите, как в robots.txt запретить индексацию страниц, к примеру, http://www.домен.ru/shop/index.php?productID=762

http://www.домен.ru/shop/index.php?productID=763

http://www.домен.ru/shop/index.php?productID=764

Их у меня несколько, там пустые отзывы, которые мне не нужны.

Продвижение сайтов (http://vdv-web.ru) Курсы по продвижению сайтов (http://vdv-web.ru/kursy.html) Создание сайтов от 5000 руб (http://vdv-web.ru/sozd.html)
H
На сайте с 04.04.2008
Offline
161
hellworm
#1

User-agent: *

Disallow: http://www.домен.ru/shop/index.php?productID=763

Disallow: http://www.домен.ru/shop/index.php?productID=764

Disallow: http://www.домен.ru/shop/index.php?productID=765

и т.д.

A2
На сайте с 25.05.2008
Offline
29
alex27791
#2

Спасибо большое

hellworm:
User-agent: *

Disallow: http://www.домен.ru/shop/index.php?productID=763
Disallow: http://www.домен.ru/shop/index.php?productID=764
Disallow: http://www.домен.ru/shop/index.php?productID=765

и т.д.
siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#3

только без http://www.домен.ru

User-agent: *

Disallow: /shop/index.php?productID=763

Disallow: /shop/index.php?productID=764

Disallow: /shop/index.php?productID=765

A2
На сайте с 25.05.2008
Offline
29
alex27791
#4
siv1987:
только без http://www.домен.ru

User-agent: *
Disallow: /shop/index.php?productID=763
Disallow: /shop/index.php?productID=764
Disallow: /shop/index.php?productID=765

Аааааааа , вот так? спасибо

alex27791 добавил 28.09.2010 в 12:27

siv1987:
только без http://www.домен.ru

User-agent: *
Disallow: /shop/index.php?productID=763
Disallow: /shop/index.php?productID=764
Disallow: /shop/index.php?productID=765

А если с http://www.домен.ru, не сработает?

H
На сайте с 04.04.2008
Offline
161
hellworm
#5

Вот : /ru/news/144 , можете почитать про то как нужно правильно составлять robots.txt . А работать будут оба варианта.

A2
На сайте с 25.05.2008
Offline
29
alex27791
#6
hellworm:
Вот : /ru/news/144 , можете почитать про то как нужно правильно составлять robots.txt . А работать будут оба варианта.

хорошо, спасибо

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#7
hellworm:
Вот : /ru/news/144 , можете почитать про то как нужно правильно составлять robots.txt . А работать будут оба варианта.

Никогда еще не видел чтобы в Disallow использовались такие запреты.

Да и анализатор яндекса ругается.

А если с http://www.домен.ru, не сработает?

Не сработает.

Anderew
На сайте с 06.03.2010
Offline
126
Anderew
#8

Здравствуйте! Чтобы новую тему не создавать задам вопрос здесь.

После того как в robots.txt запретил к индексации определённые страницы сайта (дубликаты страниц)

User-agent: *

Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Disallow: /shop/index.php?productID=763
Disallow: /shop/index.php?productID=764
Disallow: /shop/index.php?productID=765

Sitemap: http://www.домен.com/sitemap.xml

Нужно ли в "stemap.xml" удалять ссылки на эти страницы или нужно оставить, или не имеет значения? (stemap.xml - генерирую в www.xml-sitemaps.com и поэтому заносятся все ссылки автоматически).

И если у меня ссылки такого вида:

http://домен.com/2010-09-20-10-37-35/98-3-

То мне нужно прописывать? :

User-agent: *

Disallow: /2010-09-20-10-37-35/98-3-

Правильно?

Заранее спасибо за ответ!

Телдери.ру (http://www.telderi.ru/?pid=f81a14)- Биржа готовых сайтов Спорим, мощней и дешевле VPS (http://www.ihc.ru/?ref=2920)не знаешь?
K
На сайте с 31.01.2001
Offline
737
Kost
#9
Anderew:
Правильно?

Неправильно. В блоке не должно быть пустых строк.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Anderew
На сайте с 06.03.2010
Offline
126
Anderew
#10
Kost:
Неправильно. В блоке не должно быть пустых строк.

Значит вот так? :

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /shop/index.php?productID=763
Disallow: /shop/index.php?productID=764
Disallow: /shop/index.php?productID=765
Sitemap: http://www.домен.com/sitemap.xml

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий