Быть или не быть? Robots.txt

правильно так

Disallow: /news.html

Нет, закрываете так только конкретную страницу

flame666, Есть такая полезная вещь в Яндекс Вебмастере, как проверка robots.txt - сделали роботс и проверили будет ли индексироваться страница или нет.

Спасибо большое, а так-то есть ли смысл закрывать от индексации? Sitemap есть.

Не надо закрывать.

Я так понимаю, что вас смущает дублирование текстов, которые выводятся в полном объеме на странице категории (рубрики, раздела).

Ну такое дублирование свойственно всем блогам - новые записи выходят на главную или страницу рубрик и дублируются по своему адресу.

Во-первых можно выводить лишь анонсы. Тогда на странице будет карусель из определенного числа анонсов. Новые будут задвигать старые записи взад на вторые страницы - словно рулон туалетной бумаги заматывать. Страницы рубрик будет постоянно обновляться с новой записью.

Во-вторых можно сделать одну статью постоянной обзорной на странице рубрики. В ней сделать краткую запись по теме рубрики, а ниже заголовки статей как ссылки. Когда написали новую статью - добавляете ее оглавление в обзорную запись. А сами статьи выводить в виде заголовков даже без анонса.

Только придется менять дату обзорной - чтобы она была более свежей, чем последняя.

Под обзорной будет не лента анонсов, а лента из заголовков, которые тоже будут сдвигаться на вторые страницы.

Что-то подобное можно посмотреть на http://design-for.net/category/sajt-na-maxsite-cms

У меня вопрос по поводу Robots.txt - где на найте его размещать, и как сообщить поисковику где он находится. И нужно ли ему это. Вопрос маленький, так что новую тему решил не создавать.

Почему бы не сделать так?

Можно не закрывать.