Всё тот же robots.txt и dle

Пример url религия запрещает давать?

Зачем?

А вообще в fullstory.tpl

Стандартные урлы вида: /razdel/novosti.html

Дело в том, что их много и каждый урл запрещать через роботс не вариант. Может есть рецепт для таких целей?

а мне наоборот надо чтобы все закрыть и оставить лишь полные новости открытыми для ПС. Вот как такое сделать? т.е. у меня обратная ситуация чем у ТС

Индексацию лучше запрещать не в robots.txt, а непосредственно в файле шаблона через запись <meta name="robots" content="noindex">. Так как гугл игнорирует robots.txt почти всегда, да и яндекс иногда тоже (если ссылки на страницы есть).

В общем, в шаблоне надо прописать категории страниц, на которых надо прописать <meta name="robots" content="noindex">.

Для Сашко надо так:

[aviable=showfull]<meta name="robots" content="noindex">[/aviable]

Для jungledrums - так:

[not-aviable=main|showfull]<meta name="robots" content="noindex">[/not-aviable] + закрыть в robots.txt служебные страницы

не неси чушь. Поисковик обязан учитывать robots.txt. Если он составлен правильно.

Поисковик ничего не обязан :) Представьте, что не было бы ПС

Вот именно что поисковый робот обязан учесть содержимое robots.txt .

И все эти сопли и плачи о которых пишут что мол поисковый робот проигнорировал роботс и проиндексировал ненужные страницы - это всё только из-за кривых рук вебмастера.

Ну и не было бы robots.txt.

Благодарю, что-то я даже не подумал об этом.

Не говорите больше это никому. :)

Возможно, руки у меня и кривоваты, но закрыть в robots.txt директорию я могу. Однако, это никак не влияет на включение Яндексом (некоторых) и Гуглом (почти всех) закрытых таким образом страниц в индекс.

Более того, Гугл сам пишет о том, что плевать он хотел на robots.txt, если есть ссылки на страницу. И опять же Гугл говорит, что он точно не будет индексировать, если вставить упомянутый мной метатег.

И да, спасибо за "добрые" слова :)