Запрет на индексацию

A1
На сайте с 05.11.2008
Offline
105
Ap1
301

Никак не могу понять, в какой последовательности и Я и Г смотрят на запреты для индексации, а именно:

На сайте есть много одинаковых новостей с одинаковым названием, иногда попадаются другие новости с различными названиями. Хочется, чтобы одинаковые в индекс не попадали, а вот различные попадали.

Урл новостей у всех примерно одинаковый, отличается только ID (число порядковое): http://site.com/component/mode/readnews/ID

Robots.txt у меня выглядит так:

User-agent: *
Disallow: /component/
...
...
Allow: /component/mode/readnews/*

Первая строчка запрещает индексацию всех урлов, которые начинаются на http://site.com/component/ (потому что компонентов на сайте много), а последняя строчка разрешает индексацию урлов http://site.com/component/mode/readnews/ID.

Чтобы новости с одинаковым названием не попадали в индекс, к ним программно добавлятеся следующий мета-тег на страницу:

<meta name="robots" content="noindex, nofollow" />

Так вот Google, проиндексировав часть моих новостей, уже говорит мне:

Описание веб-страницы недоступно из-за ограничений в файле robots.txt.

Насчет Яндекса не знаю, пока эти новости он не проиндексировал.

При этом в обоих Вебмастерах новости с одинаковыми названиями и разными отлично проходят проверку на индексацию.

Как быть, чтобы добиться нужного результата, который описан жирным шрифтом в начале поста?

S.E.R.
На сайте с 17.08.2008
Offline
146
#1
Как быть, чтобы добиться нужного результата, который описан жирным шрифтом в начале поста?

Может конечно есть способ проще..

Но на ум приходит следующий. Программно запрашивается адрес страницы, делается запрос в БД, проверяется есть ли совпадения.

Если совпадения есть - добавляется <meta name="robots" content="noindex, nofollow" />.

ORIDIS ( http://www.oridis.ru/ ) - разработка и продвижение сайтов | Быстрый и надёжный хостинг ( https://timeweb.com/ru/?i=53597 )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий