robots.txt, мета-тег robots и ссылки - как правильно?

acket
На сайте с 15.06.2012
Offline
72
667

Форумчане, подскажите правильный вариант.

Сайт-статейник на html, инклюды. Блоговая структура типа WP. Главная (статичная), горизонтальное меню с ссылками на страницы категорий. Страницы категорий с пагинацией и списком анонсов статей. Далее страницы статей, перелинкованные между собой. На главной есть ссылка на карту сайта.

Вариант 1.

1. Закрыть в robots.txt страницы категорий.

2. Ссылки с главной на страницы категорий noindex, nofollow.

3. На страницах категорий мета-тег robots noindex, nofollow.

Категории закрыты в robots.txt, ссылки на категории с главной и с категорий на статьи закрыты от индекса и переход по ним запрещен. Индексация будет с главной через карту сайта, плюс по перелинковке статей.

Вариант 2.

1. В robots.txt открыто все.

2. Ссылки с главной на страницы категорий индексируются, переход разрешен.

3. На страницах категорий мета-тег robots noindex, follow.

В этом варианте бот свободно переходит с главной на категорию, далее по ссылке из анонса на статью. Текст на странице категории (анонсы-дубли) при этом не индексируется.

Maxim-KL
На сайте с 26.01.2011
Offline
350
#1

Вариант 1 - 1. Лучше все закрыть в robots, а бот и так ходит по тому что закрыто просто не индексит. Так что без проблем все найдет...

Мои услуги по прогонам: ✅Качественный ручной статейный прогон по базе сайтов с ИКС10+ (maximgroups.net/progon-statejnyj) ✅Прогон Максимум - Все включено, 300+ качественных ссылок (maximgroups.net/progon-maksimum)
acket
На сайте с 15.06.2012
Offline
72
#2

Бот ходит, если найдет ссылку на закрытую страницу. А если ссылки nofollow?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий