Форум Сайтостроение Веб-строительство

Помогите убрать дубли на DLE v10.1

T
На сайте с 06.04.2013
Offline
38
Tolerant
3324

Приветствую! ребята, помогите пожалуйста убрать дубли страниц, ситуация следующая: в индекс попала постраничная навигация. Ведь это не к добру? :)

site.ru/page/2/

site.ru/page/3/

site.ru/page/4/

и тд

Как избавиться от нее!? Версия DLE 10.1

G-and-Y
На сайте с 29.06.2013
Offline
185
G-and-Y
#1

http://alaev.info/blog/post/3900

Поставте такой роботс проблем небудет.

Абузо-устойчивые впс ( http://vps-hosting.lv/?p=13408 )
WebAlt
На сайте с 02.12.2007
Offline
264
WebAlt
#2 

User-agent: *

Disallow: /page/
Concurent
На сайте с 26.09.2007
Offline
144
Concurent
#3
WebAlt:
User-agent: * Disallow: /page/

Disallow: /page

ставьте без слеша, так надежней, проверено. со слешем бывало пс иногда все-таки индексили дубли, а без слеша - обрубается наверняка

С уважением, Павел
WebAlt
На сайте с 02.12.2007
Offline
264
WebAlt
#4
Concurent:
Disallow: /page

ставьте без слеша, так надежней, проверено. со слешем бывало пс иногда все-таки индексили дубли, а без слеша - обрубается наверняка

Может быть, не замечал. Если смотреть по справкам вебмастера Yandex'a и Google, то надо так ;): 

User-agent: Yandex

Disallow: /page



User-Agent: Googlebot

Disallow: /page/
Concurent
На сайте с 26.09.2007
Offline
144
Concurent
#5

Да. Я про дубли в яндексе. Но на гугл это правило тоже работает

Korew
На сайте с 31.12.2007
Offline
195
Korew
#6

У меня такой роботс:

User-agent: *

Disallow: /backup/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /user/

Disallow: /tags/

Disallow: /2011/

Disallow: /2012/

Disallow: /2013/

Disallow: /2014/

Disallow: /2015/

Disallow: /newposts/

Disallow: /*subaction=

Disallow: /*do=

Disallow: /*page

Disallow: /statistics.html

Disallow: /admin.php

Disallow: /index.php

В случае с

Disallow: /*page

так сделано, чтобы не индексировали новости, где комментариев на несколько страниц. Всмысле не индексировались вторые и т.д. страницы комментариев.

Мэтт Катс объяснил, зачем Составление файла robots.txt Новые стандарты для директивы

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий