Вопрос по DLE

А вы задайте себе вопрос - зачем вообще вам на сайте метки, страницы архива и другие лишние страницы в поиске. Ну и для чего сайт - для сапы или для людей.

Такие вещи сразу закрываются. Пример роботса для DLE

User-agent: Yandex

Disallow: /page/*

Disallow: */page/*

Disallow: /user/*

Disallow: /dude/*

Disallow: /lp/*

Disallow: /2009/*

Disallow: /2010/*

Disallow: /2011/*

Disallow: /engine/*

Disallow: /statistics.html

Disallow: /index.php?*

Disallow: /?newsid*

Disallow: /?do=*

Disallow: /*print

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

User-agent: *

Disallow: /page/*

Disallow: */page/*

Disallow: /user/*

Disallow: /dude/*

Disallow: /lp/*

Disallow: /2009/*

Disallow: /2010/*

Disallow: /2011/*

Disallow: /engine/*

Disallow: /statistics.html

Disallow: /index.php?*

Disallow: /?newsid*

Disallow: /?do=*

Disallow: /*print

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Sitemap: http://site.ru/sitemap.xml

Извините. В спойлер засунуть не получилось

Подскажите а вот этот запрет:

Disallow: /page/*

Disallow: */page/*

Не будет ли мешать идексации статей по разделам?

andreydrag, спасибо за информацию

yahalifeer добавил 07.12.2011 в 21:46

А правда, не будет ли мешать:

Disallow: /page/*

Disallow: */page/*

идексации статей по разделам?

Не забудьте

Disallow: /

Исключить все страницы из индекса, если сайт для людей,без поисковика будет популярным