Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt и DLE

[Удален]
513

Подскажите данный robots.txt является наиболее удобным для наилучшей индексации DLE-сайтов:

User-agent: Yandex

Disallow: /index.php?do=register

Disallow: /index.php?do=rulles

Disallow: /index.php?do=addnews

Disallow: /index.php?subaction=newposts

Disallow: /index.php?do=stats

Disallow: /index.php?do=lostpassword

Disallow: /language/

Disallow: /images/

Disallow: /cache/

Disallow: /user/

Disallow: /print

Sitemap: http://сайт/sitemap.xml

Host: сайт

User-agent: *

Disallow: /cache/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /images/

Disallow: /backup/

Disallow: /user/

Disallow: /print

User-Agent: Yandex

User-Agent: StackRambler

User-Agent: Yahoo! Slurp

User-Agent: msnbot

User-Agent: Alexa

User-Agent: Aport

User-Agent: Gigablast

User-Agent: Robot

User-Agent: Google

User-Agent: GetRight

User-Agent: HTTrack

User-Agent: MSN

User-agent: Yandex Yandex.ru

Disallow: /xxxxx/

Если это не так, то какой найболее удобный robots.txt для найлучшей индексации DLE-сайтов?

Cranking
На сайте с 30.11.2008
Offline
172
Cranking
#1

Лучше этого ничего не делать. Поисковики сами отфильтруют то, что нужно, они уже умеют это делать.

Аудит сайта и консультации по продвижению и оптимизации. (/ru/forum/568390) Дешевле чем у других форумчан на форуме, много отзывов (моя тема)
WebAlt
На сайте с 02.12.2007
Offline
266
WebAlt
#2 

User-agent: *

Host: dle-news.ru

Я так закрываю: 

User-agent: *

Disallow: /index.php?*

Disallow: /*rss

Disallow: /user/

Allow: /

Sitemap: http://www.site.ru/sitemap.xml

Host: www.site.ru

Можно еще по своему желанию закрыть каталог, архив (тоже что и календарь) и теги, а можно вообще ничего не закрывать, дле прекрасно под пс заточен.

Страницы печати закрываются средствами двига, если старая версия, то Disallow: /*print

Все остальное ,что вы позакрывали/понаписали не имеет смысла, имхо.

Подскажите пожалуйста про анкорные Пагинация нужны теги на сайте
vandamme
На сайте с 30.11.2008
Offline
675
vandamme
#3

хреновый роботс у вас, там много лишнего и чаще всего не нужного

лучше бы рсс-фиды бы закрыли во избежания кучи ошибок в вебмастере яндекса

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий