Запрещение части страниц к индексации

12
АК
На сайте с 14.10.2012
Offline
44
918

Сайт на UCOZ.

К примеру возьму модуль news/ (это главная страница модуля куда влетают все свежие новости и она должна индексироваться. здесь без вопросов. присутствует оригинальный TITLE и H1)

На главной странице выводятся 10 новостей и одиннадцатая уже соответственно переходит на страницу №2 с урлом такого вида /news/2 , далее соответственно /news/3 и до бесконечности если новостей много (все с дублированным TITLE и H1), т.е как я понимаю являются дублями по тайтлам хоть и с разным содержанием.

Как можно запретить индексацию только таких страниц которые после news/ содержат цифру номера страницы, но чтобы от индексации не закрывались страницы с самим материалом имеющие вид /news/otvedali_gribov_popali_v_reanimaciju/2012-09-24-330 и страницы разделов с видом /news/turizm/1-0-3

cheredov
На сайте с 07.04.2011
Offline
125
#1
АлексейК:
Сайт на UCOZ.

К примеру возьму модуль news/ (это главная страница модуля куда влетают все свежие новости и она должна индексироваться. здесь без вопросов. присутствует оригинальный TITLE и H1)

На главной странице выводятся 10 новостей и одиннадцатая уже соответственно переходит на страницу №2 с урлом такого вида /news/2 , далее соответственно /news/3 и до бесконечности если новостей много (все с дублированным TITLE и H1), т.е как я понимаю являются дублями по тайтлам хоть и с разным содержанием.

Как можно запретить индексацию только таких страниц которые после news/ содержат цифру номера страницы, но чтобы от индексации не закрывались страницы с самим материалом имеющие вид /news/otvedali_gribov_popali_v_reanimaciju/2012-09-24-330 и страницы разделов с видом /news/turizm/1-0-3

Можно добавить к дублям <link rel="canonical" href="news/1"/>

или в роботсе

Disallow: /news/2

...

Disallow: /news/19

:)

Иван Чередов (http://ivan.cheredov.com/about/)
АК
На сайте с 14.10.2012
Offline
44
#2
cheredov:
Можно добавить к дублям <link rel="canonical" href="news/1"/>
или в роботсе
Disallow: /news/2
...
Disallow: /news/19
:)

Спасибо, но я разобрался уже сам. 2 года не мог понять правил формирования роботса, а вчера-сегодня нашло озарение (и попались хорошие статьи). Все сделал и в вебмастере проверил. Все что мне нужно в индексе, все что не нужно запрещено. Я сам в шоке. Ура больше не будет дублей.

[Удален]
#3
АлексейК:
Ура больше не будет дублей.

это-то на говнокозе 😂

сколько дублей вам завернуть? 🤪

АК
На сайте с 14.10.2012
Offline
44
#4
burunduk:
это-то на говнокозе 😂
сколько дублей вам завернуть? 🤪

Ну при таком сомнении могу поправится: дубли конечно будут, но все запрещены в роботсе.

Единственное, что мне пока не удалось победить это эдентичные url со слешем и без. Но здесь поисковые системы, как я уже выяснил гуманны к ucoz.

Удалось спрятать в noindex страницы на которых еще нет материала (к примеру страницы категорий в доске объявлений)

A
На сайте с 18.04.2013
Offline
96
#5

АлексейК, зачем тебе этот юкоз сдался?? почему ты мучаешься?)

АК
На сайте с 14.10.2012
Offline
44
#6
amelta:
АлексейК, зачем тебе этот юкоз сдался?? почему ты мучаешься?)

Другие СМС только осваиваю и к тому же переносить 5000 страниц в сезон это глупо по моему. Осенью планирую, если сумею до этого времени понять Друпал

[Удален]
#7
АлексейК:
Ну при таком сомнении могу поправится: дубли конечно будут, но все запрещены в роботсе

это в принципе не возможно ;)

АК
На сайте с 14.10.2012
Offline
44
#8
burunduk:
это в принципе не возможно ;)

Ладно спалю сайт. Эксперимент с роботсом провел пока только с одним разделом и только для Яндекса. Попробуйте найти индексируемые дубли в этом разделе http://ukraina-krym.com/news

Со слешем на конце дубли не принимаются (эта проблема не решается)

[Удален]
#9

АлексейК, http://ukraina-krym.com/news/vladelcu_nezakonno_zakhvachennogo_uchastka_grozit_uzhe_tjuremnoe_zakljuchenie/2013-06-24-381?nmm

это фигня, которую всё-таки можно закрыть, но вот в чём проблема - в индексе они будут появляться при каждом глюке ибо ссылки на страницы остались

<a class="swchItem" onclick="spages('2');return false;" href="http://ukraina-krym.com/news/2">
<span>2</span>
</a>
Cell
На сайте с 09.10.2007
Offline
552
#10

АлексейК, посмотрите вот эту тему.

Там неплохая статья по ссылке.

The Piper at the Gates of Dawn.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий