Очищаем авгиевы конюшни или как побороть дубли

Z2
На сайте с 31.03.2013
Offline
46
947

Господа, подскажите по поводу дублей. Движок Joomla 3.5. Из плагинов только Akeeba и Jcomments. Контент переносили 6 месяцев назад на чистый движок вручную. Меню составляли очень аккуратно. Но всё равно появились дубли. Вот вытащил из Google Webmaster HTML Improvements.

Например:

Правильный урл

//moy-site.ru/matematika-5-klass-uroki-temy-protsenty

Дубли:

//moy-site.ru/index.php/matematika-5-klass-uroki-temy-protsenty

//moy-site.ru/matematika-5-klass-uroki-temy-protsenty/62-zadahi-zadaniya-1-klass-matematika-temy/177-10

Или ещё правильный урл:

//moy-site.ru/matematika-5-klass/testy/1-chetvert

Дубли

//moy-site.ru/index.php/matematika-5-klass/testy/1-chetvert

//moy-site.ru/matematika-5-klass/testy/1-chetvert/21-matematika-5-klass-kontrolnye-raboty-zadachi-testy-primery-zadaniya

//moy-site.ru/matematika-5-klass/testy/1-chetvert

И таких примеров масса. Более 1000

Собственно два вопроса:

1. Как побороть?

Яндекс рекомендует добавить в robots.txt:

Disallow: /*17*

Disallow: /index.php/*

Это для приведённых примеров выше. Поможет или нет?

2. Есть некоторые настолько ужасные url. Идет просто добавление url из соседних категорий:

//moy-site.ru/matematika-1-klass-urok-na-temu-chislo-1-tsifra-1/20-matematika-4-klass-uroki/113-matematika-4-klass-uroki-temy-umnozhenie-mnogoznachnyh-chisel

//moy-site.ru/matematika-1-klass/olimpiady-diktanty-kartochki/olimpiada-1-klass/29-algebra-geometria-7-klass-zadachi-po-temam

//moy-site.ru/matematika-1-klass/zadachi-primery/3-4-chetverty-moro/44-11-klass-algebra-geometriya-zadachi-primery

//moy-site.ru/algebra-7-klass-novoe/kontrolnye-raboty-novye/mordkovich-novoe/27-matematika-7-klass-kontrolnye-raboty-zadachi-testy-primery-zadaniya

Вот как победить эту беду ума не приложу :(

Любые подсказки только приветствуются.

Akcium
На сайте с 23.07.2007
Offline
107
#1

лучше реврайты написать, но в первую очередь прописать canonical

Z2
На сайте с 31.03.2013
Offline
46
#2

Akcium, спасибо, что пытаетесь помочь.

canonical прописать для 1800 ссылок, ну трудновато. Тем более, что их количество продолжаются увеличивать.

Попробуем всё таки .rewrite.

Z2
На сайте с 31.03.2013
Offline
46
#3

А как бы прописать правило Disallow так, чтобы исключить ВСЕ url, которые содержат числа от 12 до 999?

Заметили, что в дублях, практически везде есть id статьи. Например:

/matematika-1-klass/olimpiady-diktanty-kartochki/olimpiada-1-klass/58-matematika-1-klass-zadaniya-kontrolnye-raboty-testy/matematika-1-klass-zadachi-primery/178-11

/zadachi-zadaniya-2-klass-po-temam/vyrazheniya-s-peremennymi/14-zadachi-po-matematike-2-klass-po-temam/398-2-klass-interactivnye-testy

/matematika-1-klass/kontrolnye-raboty/vhodnye-kontrolnaya-test-doshkolnik/14-zadachi-po-matematike-2-klass-po-temam/398-2-klass-interactivnye-testy

В правильных url НЕ содержатся id статьи. Перечислять все номер - больно большой список будет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий