Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt запрет от индексации тегов

H2
На сайте с 08.07.2013
Offline
1
Hacker20073
406

здравствуйте. Есть сайт с тонной тегов которые не должны попасть в индекс.

Пример:

http://site.com/tag-нитраты

Как закрыть от индекса в роботе именно http://site.com/tag и всё что с ним связано после? После tag каждый раз другое слово.

Или как можно сделать то же только через htaccess?

IBakalov
На сайте с 05.10.2011
Offline
218
IBakalov
#1

Почитайте про использование robots.txt, а затем выполните анализ.

H2
На сайте с 08.07.2013
Offline
1
Hacker20073
#2
IBakalov:
Почитайте про использование robots.txt, а затем выполните анализ.

Как я понял правильно будет:

User-agent: Googlebot
Disallow: /tag*
Host: site.com

S.E.R.
На сайте с 17.08.2008
Offline
146
S.E.R.
#3
User-agent: Googlebot
Disallow: /tag*
Host: site.com

Это закроет только от Гугла. А для Яндекса вы не хотите закрывать?

К тому же Яндекс не прочтёт директиву Host.

ORIDIS ( http://www.oridis.ru/ ) - разработка и продвижение сайтов | Быстрый и надёжный хостинг ( https://timeweb.com/ru/?i=53597 )
Dimonka
На сайте с 09.09.2009
Offline
60
Dimonka
#4

Если теги не создают полные дубли материалов, то какой смысл закрывать их от индексации?

Star Citizen - самый дорогой космосим (http://star-citizen-ru.ru)
Alpha Tier
На сайте с 22.07.2013
Offline
4
Alpha Tier
#5
Dimonka:
Если теги не создают полные дубли материалов, то какой смысл закрывать их от индексации?

Поддерживаю.

Логично педположить что по этой ссылке будет список статей с этим тегом.

Ногти (http://elena-kazina.ru/) и сиськи (http://elena-polonik.ru/) ну и немного извращений (http://bdsm-db.ru/)
[Удален]
#6

Как по мне, лучше это реализовать не через robots.txt, а с мощью добавления мета кода

noindex,nofollow

Пример как это реализовано на моем DLE

if (

$do == 'alltags' OR /* Страница просмотра списка тегов */

) $metatags .= <<<HTML

\n<meta name="robots" content="noindex,nofollow" />

HTML;

Часть сайта запрещена к Бесплатный аудит сайтов: анализ Как заставить тупой Google
Дрозофила
На сайте с 01.08.2007
Offline
200
Дрозофила
#7

IBakalov, Раз такой умный - дал бы ТСу лучше нормальный развернутый ответ.

А ссылки на мануал бросать на Серче уже все умеют.

1. Понимание СЕО приходит после пива. 2. Незнакомый мальчик жестами объяснил, что его зовут Хулио. 3. Причина по которой я на этом форуме https://pressair.ru (https://pressair.ru)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий