Помогите с дублями страниц на DLE

12
kuzenstudio
На сайте с 20.09.2009
Offline
160
2240

Добрый господа, сильно не пинайте, не когда в жизни не сталкивался с DLE, а тут вот понадобилось. Ситуация следующая, есть сайт http://site.ru/, у него есть страницы(аля новости) http://site.ru/video и есть куча дублей http://site.ru/2010/09/11/ http://site.ru/2010/09/12/page/4/ http://site.ru/2010/09/12/page/3/ http://site.ru/2010/09/ и тд Как это все удалить и что бы больше такого не было. Не посылайте далеко, помогите как сделать лучше. Спасибо.

Качественный и не дорогой датский хостинг (https://gigahost.com.ru/e?ref=kuzenstudio).
Хортица
На сайте с 22.12.2006
Offline
289
#1

В robots закрыть все года, убрать модуль архива и календаря совсем. Навсегда. Отключить в .htaccess строку отвечающую за вывод даты:

# За день
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L]
# За весь месяц
RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L]
# Вывод за весь год
RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L]
RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L]

В том же .htaccess после

RewriteEngine On

Добавить:


RewriteCond %{QUERY_STRING} .
RewriteCond %{QUERY_STRING} !(do|action)=
RewriteCond %{ENV:REDIRECT_STATUS} ^$
RewriteRule (.*) /$1? [R=301,L]
На XBit.Money (https://xbit.money/?rid=111) меняю крипту на гривны. Лучшие курсы Обмен Вашего PayPal/ЯД/QIWI/WebMoney и куча плюшек! Рекомендую (https://exchangex.ru/index.php?who=26749)
erotic
На сайте с 26.02.2010
Offline
37
#2

DLE какой версии?

Я езжу на Opel Astra J GTC 1.4 MT6 (http://www.drive2.ru/cars/opel/astra_j_gtc/astra_j_gtc/andro07/)
dlepro_com
На сайте с 16.12.2009
Offline
39
#3

Как вариант Демо: dlepro.com/2011/08/ (для неавторизованых)

Дублей нет. Пример реализации у нас описан тут

Хортица
На сайте с 22.12.2006
Offline
289
#4
dlepro_com:
Дублей нет.

Будут ;) http://dlepro.com/747-seo-kontent-dle.html?polnaya-chush

dlepro_com
На сайте с 16.12.2009
Offline
39
#5

От Вас умного ничего не дождёшься кроме гадостей. Если говорить по теме предложенный мной вариант живёт без дублей, актуально для тех кому важны страницы в индексе для определённых целей.

asto
На сайте с 13.10.2005
Offline
180
#6
dlepro_com:


От Вас умного ничего не дождёшься кроме гадостей. Если говорить по теме предложенный мной вариант живёт без дублей, актуально для тех кому важны страницы в индексе для определённых целей.

Как понимаю, Хортица речь ведёт о физических дублях, а не о закрытых дублях в роботсе;) Физически дубли одним роботсом не закрыть. Вы путаете дубль и закрытие его от индексации. Дубль в Вашем случае остается. В добавок к этому, речи нет про конкретные поисковые системы, например, часто встречаются топики о том, что гугл кушает закрытые в роботсе страницы и причмокивает. Яндекс через аддурл закрытые в роботсе страницы не принимает, но это не означает, что он по ним не ходит;) Полное избавление от дублей - физическое избавление от дублей. Роботс - всего лишь рекомендация не индексировать запрещенные в роботсе страницы, физически роботс ничего никакому боту не запрещает на серверном уровне.

dlepro_com
На сайте с 16.12.2009
Offline
39
#7
asto:
Как понимаю, Хортица речь ведёт о физических дублях, а не о закрытых дублях в роботсе;) Физически дубли одним роботсом не закрыть. Вы путаете дубль и закрытие его от индексации. Дубль в Вашем случае остается. В добавок к этому, речи нет про конкретные поисковые системы, например, часто встречаются топики о том, что гугл кушает закрытые в роботсе страницы и причмокивает. Яндекс через аддурл закрытые в роботсе страницы не принимает, но это не означает, что он по ним не ходит;) Полное избавление от дублей - физическое избавление от дублей. Роботс - всего лишь рекомендация не индексировать запрещенные в роботсе страницы, физически роботс ничего никакому боту не запрещает на серверном уровне.

Если внимательно прочтёте топикстартера, то поймёте, что ТС вёл речь о дублях на страницах касающихся архивов, категорий и страниц пагинации. Как заметите я не критиковал и даже считаю правильный вариант решения предложенных Хортица в ответе ТС.

Я предложил как вариант свою реализацию, проверенную на практике, решения с дублированием контента, в случаях когда требуется сохранение индексируемых страниц, например для сапоссылок.

Мы не вели в этом топике речь о существоваших проблемах с контролем url новостей, их дубли реально в поисковиках появлялись именно только после таких гадостей в подписях, постах и прогонах выполняемых специально с коверканьем url.

Для небольшого примера на CMS не DLE, специально для Хортица: web20 точка su/leadtek-winfast-tv-pro-1920-plyusy-i-minusy/?polnaya-chush

слово точка заменить на: .

asto
На сайте с 13.10.2005
Offline
180
#8
dlepro_com:
Если внимательно прочтёте топикстартера, то поймёте, что ТС вёл речь о дублях на страницах касающихся архивов, категорий и страниц пагинации. Как заметите я не критиковал и даже считаю правильный вариант решения предложенных Хортица в ответе ТС.

Я предложил как вариант свою реализацию, проверенную на практике, решения с дублированием контента, в случаях когда требуется сохранение индексируемых страниц, например для сапоссылок.

Мы не вели в этом топике речь о существоваших проблемах с контролем url новостей, их дубли реально в поисковиках появлялись именно только после таких гадостей в подписях, постах и прогонах выполняемых специально с коверканьем url.

Читал я внимательно, в этом можете не сомневаться;)

T
На сайте с 30.09.2011
Offline
4
#9
Хортица:

Добавить:

RewriteCond %{QUERY_STRING} .
RewriteCond %{QUERY_STRING} !(do|action)=
RewriteCond %{ENV:REDIRECT_STATUS} ^$
RewriteRule (.*) /$1? [R=301,L]

Что то тут не так, во всяком случае когда я это добавил (версия 9.4 utf) в большинство меню админки стало возможно войти редиректит на главную.

Хортица
На сайте с 22.12.2006
Offline
289
#10

Tubei, для 9.4 этих правил не нужно. В 9.4 на уровне движка сделаны 404 ошибки и практически все исключения дублей - физически.

dlepro_com, поверьте, я не гадости делаю, а указываю на ошибки людей, чтобы было потом меньше таких топиков. А если у Вас ЧСВ зашкаливает, то простите что я дал Вам и не только Вам совет к действию.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий