Форум Сайтостроение Веб-строительство

Правильно составил robots.txt?

Arhz
На сайте с 28.11.2007
Offline
101
Arhz
581

Здравствуйте, хочу закрыть дубли на сайте, которые генерируются большим количеством настроек поиска.

Те, что хочу закрыть имеют примерный вид:

site.ru/cat1/rating/?ao_cat=1&ao_ocenki=&ao_model=&n=20&g=

site.ru/cat2/rating/?ao_ocenki=&ao_model=&n=50&g=

т.е. все, что имеют параметры "ao_cat" и "ao_ocenki" не нужны.

User-agent: *
Disallow: /*/rating/*?ao_cat
Disallow: /*/rating/*?ao_ocenki

правильно так?

Еще есть вот такие URL:

site.ru/cat3/rating/?g=2&n=10&ao_cat=1

site.ru/cat4/rating/?g=10&n=50&ao_cat=3

их тоже нужно закрыть, но

site.ru/cat3/rating/?g=2 закрыть нельзя, т.е. надо убрать все, что будет после ?g=n, где n - любое число.

Буду благодарен.

Svictor
На сайте с 16.01.2007
Offline
99
Svictor
#1

Можно же просто :

User-agent: *

Disallow: /*?ao_cat

Disallow: /*?ao_ocenki

Проверьте на Я.Вебмастер Он подскажет.

А также есть специальная тема на серче.

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#2
Arhz:
Еще есть вот такие URL:

Disallow: /*&ao_cat=

запрет Disallow: /*?ao_cat можно заменить на

Disallow: /*ao_cat=

тогда он закроет и первый и второй тип ссылок

/cat1/rating/?ao_cat=1&ao_ocenki=&ao_model=&n=20&g=

/cat3/rating/?g=2&n=10&ao_cat=1

MB
На сайте с 25.06.2014
Offline
0
Mike Blogger
#3

Вот пример правильного robots.txt

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

# Internet Archiver Wayback Machine

User-agent: ia_archiver

Disallow: /

# digg mirror

User-agent: duggmirror

Disallow: /

Sitemap: http://www.veloblogger.ru/sitemap.xml

User-agent: Yandex

Crawl-delay: 5

Disallow: /tag

http://web-creature.net

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#4
Mike Blogger:
User-agent: Yandex
Crawl-delay: 5

Пример г-роботса.

VHS
На сайте с 28.09.2007
Offline
142
VHS
#5
Mike Blogger:
Вот пример правильного robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.veloblogger.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag

http://web-creature.net

Убейтесь, пож-ста, об стенку самостоятельно, перед тем как нести ересь с левыми ссылками.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий