Огромное количество дублей страниц

12
G9
На сайте с 27.10.2012
Offline
85
580

Всем доброго времени суток, ситуация такая: года два с хвостиком назад сделал сайт с видеоуроками. Уроки снимает жена. Так как тогда (да и сейчас, наверное) слабо разбирался в сайтоделании (сайт был первым) - было большое количество ошибок, экспериментов и т.д. В итоге сейчас имеется реально 70-80 страниц сайта.

А теперь внимание! - яндекс вебмастер показывает 1022(!) страницы загруженные роботом, страниц в поиске 270(!). Т.е. там не просто дубли страниц, а дули дублей. Некоторых дублей нашлось более десятка страниц. Причем не знаю, что я там накрутил, но при появлении каждого нового урока, одновременно с ним появляются и дубли. В общем понятно, что это не нравится ни яндексу, ни гуглу. Санкции яндекса установить не удалось, понятно только, что эти санкции есть. С Гуглом же всё ясно, он переместил все страницы сайта из основного индекса в дополнительный.:(

Дня три назад меня это задолбало окончательно, и я в robots.txt написал примерно следующее:

User-agent: *

Disallow: /

Allow: /урок1.html

Allow: /урок2.html

Allow: /урок3.html

Allow: /урок4.html

и т.д. в том же духе. Смысл в том, чтобы заблокировать всё, кроме нужных мне страниц с уроками.

Собственно вопрос, правильно ли я сделал, если нет, то в чем ошибки, будет ли иметь это положительный результат, и если будет, то когда? И что ещё можно сделать, чтобы выкинуть дубли?

Как-то так.

Babytype
На сайте с 11.10.2012
Offline
116
#1

Если это действительно дубли ставь расширение\мод , чтобы прописывался рел каноникал

Если полные дубли и отличается только урл - можно такие страницы скрыть средствами cms или вовсе удалить

G9
На сайте с 27.10.2012
Offline
85
#2

Что такое рел каноникал?

Как скрывать средствами cms?

Слово удалить мне нравиться больше всего. Как удалить?

S3
На сайте с 18.04.2011
Offline
109
#3
geshanya972:
Что такое рел каноникал?

в помощь

rel="canonical"

kosty56rus
На сайте с 21.04.2012
Offline
30
#4
sok3535:
Как скрывать средствами cms?

Я пропустил, или вы где-то указали на какой CMS сделан сайт?

Мир состоит из бездельников, которые хотят иметь деньги, не работая, и придурков, которые готовы работать, не богатея
S3
На сайте с 18.04.2011
Offline
109
#5
kosty56rus:
Я пропустил, или вы где-то указали на какой CMS сделан сайт?

я? откуда мне знать на какой cms сделал сайт ТС

kosty56rus
На сайте с 21.04.2012
Offline
30
#6
sok3535:
я? откуда мне знать на какой cms сделал сайт ТС

Да пьяный немного 😂, конечно вопрос к ТС.

P.S. Выделял именно вопрос ТС, и нажал Цитата выделенного на вашем посте.

G9
На сайте с 27.10.2012
Offline
85
#7

Джумла 1.5.22

G9
На сайте с 27.10.2012
Offline
85
#8

Я так понимаю роботс трогать не надо было или как?

siv1987
На сайте с 02.04.2009
Offline
427
#9
geshanya972:
Собственно вопрос, правильно ли я сделал, если нет, то в чем ошибки, будет ли иметь это положительный результат, и если будет, то когда? И что ещё можно сделать, чтобы выкинуть дубли?

А запретить дубли не пробовали?

правильно ли я сделал

Нет.

geshanya972:
А теперь внимание! - яндекс вебмастер показывает 1022(!) страницы загруженные роботом, страниц в поиске 270(!). Т.е. там не просто дубли страниц, а дули дублей.

И что вам не нравиться? Мало ли что мог загрузить бот, страницы то в поиске есть - есть.

G9
На сайте с 27.10.2012
Offline
85
#10
siv1987:
А запретить дубли не пробовали?

Сначала пытался, но потом обнаружил, что за всеми просто не угонюсь, дубли эти в слишком большом количестве перекрёстных вариантов. Если начинаю запрещать какие-то дубли, возникает большая вероятность запретить что-то нужное.

siv1987:
Нет.

Что именно я сделал не так? И чем это грозит сайту?

siv1987:
И что вам не нравиться? Мало ли что мог загрузить бот, страницы то в поиске есть - есть.

Как я понимаю, страниц в поиске должно быть равно или меньше страниц сайта, а у меня страниц в поиске 270, в поиске гугла ~ 180, разве это правильно?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий