Как найти дубли страниц?

12
R1
На сайте с 19.07.2008
Offline
94
5705

Яндекс указал мне что у меня присутствуют дубли страниц, и показал парочку. Сайт построен на битриксе, который и плодит эти дубли страниц, пока программист решает этот вопрос, мне нужно поубивать существующие дубли. А теперь собственно вопрос: каким образом можно найти все дубли на сайте?

bigton
На сайте с 17.08.2009
Offline
43
#1

Добрый день.

К вариант, взять часть текста со станицы (несколько слов) и написать в поисковой строке Яндекса следующее:

"фраза/предложение" site:domain.ru

Вы сразу увидите все страницы на которых присутствует данная фраза. Важно: фразу надо писать в кавычках.

DV
На сайте с 01.05.2010
Offline
644
#2

bigton, каждую страницу искать?

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )
bigton
На сайте с 17.08.2009
Offline
43
#3

DenisVS, да. Я понимаю, что для сайта с тысячью страниц это не вариант, а для небольшого сайта - вполне приемлемое решение.

bigton добавил 02.06.2010 в 18:39

RZ101, если программист решит вопрос с дублями страниц на уровне CMS и ссылки на страницы с продублированным контентом буду выдавать 404-ю ошибку, то после переиндексации вашего сайта страницы-дубли будут автоматически исключены.

[Удален]
#4
bigton:
DenisVS, да. Я понимаю, что для сайта с тысячью страниц это не вариант, а для небольшого сайта - вполне приемлемое решение.

Мда… А при покупке ссылок Вы пишете письмо вебмастеру?

Яндекс указал мне что у меня присутствуют дубли страниц, и показал парочку.

А что Вам ещё нужно, Яндекс же показал. Robots.txt пишите нормальный, не руками же каждый дубль закрывать. Заметьте: закрывать, а не удалять!

http://yandex.ru/yandsearch?text=битрикс+robots.txt&lr=213

evgeny_kostin добавил 02.06.2010 в 18:42

bigton:
если программист решит вопрос с дублями страниц на уровне CMS и ссылки на страницы с продублированным контентом буду выдавать 404-ю ошибку, то после переиндексации вашего сайта страницы-дубли будут автоматически исключены.

Да-да, битые ссылки помогут Вашему сайту вылезти в ТОП. Гарантировано! 😂

Битые ссылки — путь к успеху.

Alex DeLarge
На сайте с 25.02.2010
Offline
35
#5

Добавьте сайт в Инструменты для Вебмастеров Гугла. Он вам покажет страницы с дублированными тайтлами и дескрипшинами. Очень вероятно это и будут дубли.

Новости 3D принтеров и 3D печати (http://3dpmake.com)
R1
На сайте с 19.07.2008
Offline
94
#6

Да, Яндекс показал мне всего пару примеров, еще пару программист сам нашел. А сколько их еще внутри сайта? Два? Три? Десяток? Сотня? Чтобы программист их поубивал, их и необходимо как-то изыскать. На сайте тысячи страниц, ток что руками все не проверить.

to Alex DeLarge

Вебмастер Гугла подключен, а где именно там можно посмотреть страницы с дублированными тайтлами и дескрипшинами?

[Удален]
#7
RZ101:
Да, Яндекс показал мне всего пару примеров, еще пару программист сам нашел. А сколько их еще внутри сайта? Два? Три? Десяток? Сотня? Чтобы программист их поубивал, их и необходимо как-то изыскать. На сайте тысячи страниц, ток что руками все не проверить.

Искать их не нужно. Дубли не возникают сами по себе. Например, если на сайте есть облако тегов или меню категорий, то в них дублируется часть контента. Поскольку используется популярный движок — Битрикс, выискивать самостоятельно адреса этих страниц не надо, всё уже написано за Вас: http://yandex.ru/yandsearch?text=битрикс+robots.txt&lr=213 .

R1
На сайте с 19.07.2008
Offline
94
#8

to evgeny_kostin

Спасибо за ссылку, буду изучать, именно на такие ссылки (/catalog/xxx/section.php?SHOWALL и /catalog/xxx/section.php?PAGEN ) яндекс мне и указал.

Никаких облаков тегов и прочего дублированного "умышленно" контента на сайте нет.

R1
На сайте с 19.07.2008
Offline
94
#9

Вопрос остаётся актуальным. Или CMS или предыдущий программист (умышленно или нет) наделали дублей страниц. Как найти эти дубли, чтобы в последствии закрыть в robots.txt?

R1
На сайте с 19.07.2008
Offline
94
#10

Продолжаю просить помощи...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий