Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Вопрос по robots.txt DLE 9.4

[Удален]
1165

Создал вот такой для ДЛЕ

User-agent: *
Disallow: /*rss
Disallow: /tags/
Disallow: /page/
Disallow: /2011/
Disallow: /stats/
Disallow: /cache/
Disallow: /backup/
Disallow: /?do=cat*
Disallow: /newposts/
Disallow: /language/
Disallow: */?do=cat*
Disallow: /adv.html
Disallow: /rules.html
Disallow: /contact.html
Disallow: /engine/go.php
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /*subaction=userinfo
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://сайт.su/sitemap.xml
Host: сайт.su

Насколько он корректный?

Vaan32
На сайте с 23.05.2011
Offline
175
Vaan32
#1

Смущает только две вещи:

/page/

/*rss

а так в принципе верно

Басист басисту друг, товарищ и запасной бас
[Удален]
#2
Vaan32:
Смущает только две вещи:
/page/
/*rss

а так в принципе верно

Почему смущают?

Закрыл рсс на индексацию и page чтоб дублей небыло

WerewolfCisco
На сайте с 17.11.2008
Offline
106
WerewolfCisco
#3
Andryw:


page

не стоит закрывать вообще.

а вместо этого делайте превью статьи. тем самым получите + ключи.

Kotkov
На сайте с 07.08.2011
Offline
11
Kotkov
#4
WerewolfCisco:
не стоит закрывать вообще.
а вместо этого делайте превью статьи. тем самым получите + ключи.

зависит опять же от сутуации. если каждая статья выводится на главной + категории это будут дубли

Vaan32
На сайте с 23.05.2011
Offline
175
Vaan32
#5
зависит опять же от сутуации. если каждая статья выводится на главной + категории это будут дубли

Если ты полный текст в превью вставляешь - то да, а частичное дублирование пару предложение - как бы нормально. Страницы page все равно не продвигаемые

[Удален]
#6

ну тогда можно их и закрыть

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий