Как избавиться от дублей страниц?

12
1
На сайте с 03.08.2010
Offline
10
790

При проверке релевантности страниц по яндексу, Яша выдал мне несколько релевантных страниц по одному запросы.

1) продвигаемая страница

2) категория в которой находиться продвигаемая страница

3) главная страница сайта, на которой некоторое время располагалось продвигаемая страница

4) страницы вида http://mysite.ru/page/17/

и т.д.

Вопрос как закрыть все эти страницы, чтобы была только 1 релевантная страница?

P.S. Первая релевантная страница ведет на нужную мне страницу, но все равно как избавиться от остальных, ведь это лишний мусор:(

Движок сайта DLE, вот роботс:

User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /2009/
Disallow: /2010/
Disallow: /language/
Disallow: /backup/
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Sitemap: http://mysite.ru/sitemap.xml
Host: mysite.ru

User-agent: Yandex
Disallow: /engine/
Disallow: /user/
Disallow: /2009/
Disallow: /2010/
Disallow: /language/
Disallow: /backup/
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Sitemap: http://mysite.ru/sitemap.xml
Host: mysite.ru
H
На сайте с 04.04.2008
Offline
160
#1

Не вижу проблемы ? 😎

Закройте ненужные Вам страницы от индексации в роботс.тхт

Disallow: http://mysite.ru/page/17/

Disallow: http://mysite.ru/page/18/

и т.д.

1
На сайте с 03.08.2010
Offline
10
#2
hellworm:
Не вижу проблемы ? 😎

Закройте ненужные Вам страницы от индексации в роботс.тхт

Disallow: http://mysite.ru/page/17/
Disallow: http://mysite.ru/page/18/

и т.д.

при этом не будет нарушена индексация сайта? ведь на странице http://mysite.ru/ только 10 последних новостей, остальные уходят дольше создавай страницы: mysite.ru/page/1/, mysite.ru/page/2/, mysite.ru/page/3/ и т.д.

Получится я запрещу боту индексировать новости которые ушли с главной страницы.

H
На сайте с 04.04.2008
Offline
160
#3

Нет ! Вы запретите боту индексировать именно страницы , но не сами новости. 🚬

Если Вы пропишите :

Disallow : http://www.mysite.ru/page/18/ - тогда запретите к индексации 18 страницу .

А если так :

Disallow : http://www.mysite.ru/новость_дня.html - тогда запретите индексацию самой новости.

1
На сайте с 03.08.2010
Offline
10
#4
hellworm:
Нет ! Вы запретите боту индексировать именно страницы , но не сами новости. 🚬

Если Вы пропишите :

Disallow : http://www.mysite.ru/page/18/ - тогда запретите к индексации 18 страницу .

А если так :

Disallow : http://www.mysite.ru/новость_дня.html - тогда запретите индексацию самой новости.

А как робот не проиндексирую допустим 17 страницу, проиндексирует те 10 новостей, которые расположены именно на этой странице (имею ввиду на 17 стр)?

H
На сайте с 04.04.2008
Offline
160
#5
1ncassat:
А как робот не проиндексирую допустим 17 страницу, проиндексирует те 10 новостей, которые расположены именно на этой странице (имею ввиду на 17 стр)?

Ну этой страницы вообще не будет в индексе ПС , а у страницы новости свой урл :) .

1
На сайте с 03.08.2010
Offline
10
#6
hellworm:
Ну этой страницы вообще не будет в индексе ПС , а у страницы новости свой урл :) .

Нет это мне понятно, но как поисковый бот найдет урл страницы новости? Если не проиндексирует страницу, на которой расположен урл новости?

H
На сайте с 04.04.2008
Offline
160
#7
1ncassat:
Нет это мне понятно, но как поисковый бот найдет урл страницы новости? Если не проиндексирует страницу, на которой расположен урл новости?

А у Вас нет на сайте перелинковки ? :) Тогда как вариант если боитесь что бот не будет забегать на страницу, можно сделать xml карту сайта и добавить в панель вебмастера. ;)

1
На сайте с 03.08.2010
Offline
10
#8
hellworm:
А у Вас нет на сайте перелинковки ? :) Тогда как вариант если боитесь что бот не будет забегать на страницу, можно сделать xml карту сайта и добавить в панель вебмастера. ;)

Перелинковка есть, но только в виде похожих новостей, но я не верен что туда попадут все новости:(

Карта сайта также есть, и уже давно в панеле вебмастера, но она создана через движок, достаточно она надежна и стоит ей доверять?

Просто сейчас в индексе гугла 650стр, а у яши 665стр уникального контента, и не хочется потерять все страницы неловким движением руки:(

H
На сайте с 04.04.2008
Offline
160
#9
1ncassat:
Перелинковка есть, но только в виде похожих новостей, но я не верен что туда попадут все новости:(

Карта сайта также есть, и уже давно в панеле вебмастера, но она создана через движок, достаточно она надежна и стоит ей доверять?

Просто сейчас в индексе гугла 650стр, а у яши 665стр уникального контента, и не хочется потерять все страницы неловким движением руки:(

Поверьте все страницы Вы не потеряете, только те которые Вы намеренно закроете от индексации. Карту Вы можете проверить вручную если сомневаетесь 🚬

WerewolfCisco
На сайте с 17.11.2008
Offline
106
#10

Скажите зачем закрывать /index.php?subaction=newposts, что Вы этим добились?

Да и смысл закрывать паж/18 , ПС просто пропустит ее, а новость скушает из архива и то не факт.

Может кто нибудь дать мне ссылочку на сервис проверки закрытых ссылок и папок?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий