Форум Поисковые системы Яндекс

Запрет в robots.txt

12
P9
На сайте с 02.02.2010
Offline
19
pilot9
1655

В каталоге товаров есть одинаковые страницы, следующих адресов:

http://www.mydomain.ru/shop/UID_627.html

http://www.mydomain.ru/shop/UID_627_nazvanie_tovara_iz_kataloga.html

По сути это полные дубли.

Как запретить в robots.txt индексацию страниц первого типа?

[Удален]
#1

Disallow: /shop/UID_627.html

P9
На сайте с 02.02.2010
Offline
19
pilot9
#2
provocator:
Disallow: /shop/UID_627.html

Таких страниц тысячи, нужно запретить по шаблону, иначе роботс раздуется до невероятных размеров

DA
На сайте с 25.04.2008
Offline
118
don Aleksandro
#3

В программном коде допишите пару строк, чтобы на таких страницах выводилось 

<meta name="robots" content="none"/>

или 

<meta name="robots" content="noindex, nofollow"/>

http://help.yandex.ru/webmaster/?id=1111858

Надеюсь, поможет. Удачи ;)

[Удален]
#4

Потерто....

DA
На сайте с 25.04.2008
Offline
118
don Aleksandro
#5

А если через robots, то можно попробовать так: 

Disallow: /shop/UID_*.html$

Allow: /shop/UID_*_kataloga.html$
P9
На сайте с 02.02.2010
Offline
19
pilot9
#6
provocator:
Потерто....

Не подходит, страницы типа

http://www.mydomain.ru/shop/UID_627_..._kataloga.html

должны индексироваться

pilot9 добавил 02.05.2011 в 12:54

don Aleksandro:
В программном коде допишите пару строк, чтобы на таких страницах выводилось 
<meta name="robots" content="none"/>

или 
<meta name="robots" content="noindex, nofollow"/>

http://help.yandex.ru/webmaster/?id=1111858

Надеюсь, поможет. Удачи ;)

Проблема, в том, что содержание этих страниц динамически формируется одинаковое(несмотря на разные адреса)

А с помощью роботса ничего не придумать?

Google учит вебмастеров работать Яндекс ввёл новую директиву Как формируются сниппеты в
DA
На сайте с 25.04.2008
Offline
118
don Aleksandro
#7

ошибочка! правильно так: 

Allow: /shop/UID_*_kataloga.html$

Disallow: /shop/UID_*.html$
P9
На сайте с 02.02.2010
Offline
19
pilot9
#8
don Aleksandro:
А если через robots, то можно попробовать так: 
Disallow: /shop/UID_*.html$

Allow: /shop/UID_*_kataloga.html$

Каталога слово переменное, а вот так будет работать

Allow: /shop/UID_*_*.html$

DA
На сайте с 25.04.2008
Offline
118
don Aleksandro
#9

Скорее всего будет работать, "*" означает любое количество символов и их отсутствие.

Можете спросить у тех. поддержки Яндекса. Они помогают в подобных вопросах.

don Aleksandro добавил 02-05-2011 в 13:06

Я просто сам не пробовал, поэтому со 100% уверенностью утверждать не могу.

Но по сути всё логично и должно работать!

IP и вес ссылок Качественный прогон по ~9 Апдейт поисковой базы от
P9
На сайте с 02.02.2010
Offline
19
pilot9
#10
don Aleksandro:
Скорее всего будет работать, "*" означает любое количество символов и их отсутствие.
Можете спросить у тех. поддержки Яндекса. Они помогают в подобных вопросах.

don Aleksandro добавил 02-05-2011 в 13:06
Я просто сам не пробовал, поэтому со 100% уверенностью утверждать не могу.
Но по сути всё логично и должно работать!

Я как-то не уверен, напишу в тех.поддержку.

Еще мысли есть?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий