Как правильно запретить индексацию

87

zharinov

7 октября 2010, 20:52

343

в robots.txt прописано

User-agent: Yandex
Allow: /
Host: avtomehanik.org.ua
Sitemap: http://avtomehanik.org.ua/sitemap.xml
Disallow: /2010/
Disallow: /ask/

User-agent: Googlebot
Allow: /
Host: avtomehanik.org.ua
Disallow: /2010/
Disallow: /ask/
Sitemap: http://avtomehanik.org.ua/sitemap.xml

User-agent: *
Allow: /
Host: avtomehanik.org.ua
Disallow: /2010/
Disallow: /ask/
Sitemap: http://avtomehanik.org.ua/sitemap.xml

Почему Яша индексирует каталог 2010. Происходит ведь, дублирование контента.:gm: Сайт на DLE

Ремонт автомобиля своими руками (http://delay-auto.ru) Сайт молодого художника (http://tvoirisynki.net.ua)

199

Arsh

7 октября 2010, 21:03

#1

zharinov:
Почему Яша индексирует каталог 2010

Потому, что Вы ему разрешили:

zharinov:
Allow: /

Это означает: "Яша, дорогой, проходи - всё индексируй!"

87

zharinov

7 октября 2010, 21:11

#2

а разве нельзя совмещать? Типа Индексировать всё, кроме /2010/ . Есл убрать Allow:/ - это не повлияет на индексацию в целом ?

Allow: /

Disallow: /2010/

199

Arsh

7 октября 2010, 21:52

#3

zharinov:
Есл убрать Allow:/ - это не повлияет на индексацию в целом

Не повлияет