noindex,follow

VM
На сайте с 23.09.2009
Offline
192
763

Добрый день, работаю над созданием нового сайта (двиг DLE) и не хочу повторить старые ошибки. Заметил в выдачи 1000 страниц такого типа http://мой-сайт.ru/page/9775/. Не вижу смысла как бы индексировать этот хлам. Как вы смотрите на то чтобы на главной поставить тег

<meta name="robots" content="index, follow"/> или <meta name="robots" content="all"/>

а на всех /page/ поставить <meta name="robots" content="noindex,follow" />, как я понял тогда они не будут индексировать, но робот будет переходить по ссылки в саму новость и индексировать ее. Что вы скажете по этому поводу, получится ли таким способом избавится от этого мусора, или подскажите свой вариант как это сделать.

VM
На сайте с 23.09.2009
Offline
192
#1

Что никто не знает как лучше?

RT
На сайте с 02.07.2012
Offline
90
#2
vip-moto:
Что никто не знает как лучше?

конкретнее вопрос задавайте

vip-moto:
Не вижу смысла как бы индексировать этот хлам.

какой хлам? по одной ссылке нельзя понять что есть хлам

DPS1985
На сайте с 01.11.2008
Offline
181
#3

vip-moto, ссылка не работает, а почему не хотите просто в файле роботс.тхт закрыть всю директорию /page/?

VM
На сайте с 23.09.2009
Offline
192
#4
DPS1985:
vip-moto, ссылка не работает, а почему не хотите просто в файле роботс.тхт закрыть всю директорию /page/?

Потому что на /page/ выводятся новости сайта, и нужно чтобы бот ходил и индексировал новости которые на этих /page/, но сами /page/ не индексировал поэтому и выставлен <meta name="robots" content="noindex,follow" />

---------- Добавлено 08.08.2013 в 18:29 ----------

Russian Traveller:
конкретнее вопрос задавайте

какой хлам? по одной ссылке нельзя понять что есть хлам

Ну вот смотрите в индексе 2000 страниц сайт.ру/page/2786/, сайт.ру/page/3786/, сайт.ру/page/1786/ и так далее. По ключу выводится 1 страница категории что то типа сайт.ру/page/1, поэтому индексировать все эти /page/3786/ не вижу смысла. Поправьте если я не прав, так как эти /page/ создают тысячу повторяющихся метатегов и тайтлов.

RT
На сайте с 02.07.2012
Offline
90
#5
vip-moto:
сайт.ру/page/2786/, сайт.ру/page/3786/, сайт.ру/page/1786/

контент на этих страницах разный?

VM
На сайте с 23.09.2009
Offline
192
#6
Russian Traveller:
контент на этих страницах разный?

Да, контент везде разный, но по сути контент со списком новостей. Вот вам пример

как бы http://live-torrent.ru/page/10/ и http://live-torrent.ru/page/13/ есть сенс это индексировать? Я думаю нету, так как весь этот контент будет внутри новости. Тем более по всем запросам http://live-torrent.ru/ и эти страницы вылезут в выдаче, только если удалить главную из поиска

seocore
На сайте с 25.09.2006
Offline
143
#7
vip-moto:
а на всех /page/ поставить <meta name="robots" content="noindex,follow" />, как я понял тогда они не будут индексировать, но робот будет переходить по ссылки в саму новость и индексировать ее

все правильно делаете, все получится, через robots.txt + Disallow: имеет смысл закрывать только технические страницы, также имеет смысл заюзать rel="nofollow" на ссылках ведущих на теги, авторов, комментарии и т.п. (но на рубрики лучше сохранить ссылку без rel="nofollow")

Инструменты для веб-мастера: кластеризатор СЯ (https://goo.gl/MQWfqO), все запросы конкурента (https://goo.gl/hd5uHS), дешевые XML-лимиты (https://goo.gl/aDZbPI)
VM
На сайте с 23.09.2009
Offline
192
#8
seocore:
все правильно делаете, все получится, через robots.txt + Disallow:

То есть вы предлагайте закрыть /page/? И по поводу тегов. Вот пример http://o-kino.info/animations/animations_zarubezhnye-multfilmy/16415-turbo-turbo.html в ролях: перечесление тегов, вы предлагайте расставить на всех тегах ноуфолов в ссылке?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий