Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Помогите составить Robots.txt к DLE

shedemon
На сайте с 04.06.2009
Offline
116
shedemon
466

Привет всем.

Решил создать себе robots.txt

Подскажите что лучше закрыть, какой наиболее актуальный, или дайте свой роботс.тхт :)

Вот что получилось у меня

User-agent: *

Disallow: /engine/go.php

Disallow: /user/

Disallow: /newposts/

Disallow: /catalog/

Disallow: /tags/

Disallow: /2010/

Disallow: /statistics.html

Disallow: /*rss

Disallow: /*print

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Allow: /

Sitemap: http://www.мойсайт/sitemap.xml

Host: www.мой сайт

Denisg
На сайте с 10.01.2008
Offline
136
Denisg
#1

Вот, ссылка.

shedemon
На сайте с 04.06.2009
Offline
116
shedemon
#2
Denisg:
Вот, ссылка.

И чем по ссылке лучше?

1. Теги не закрыты.

2. Аплоад закрыт - разве это хорошо ?

Может кто еще что посоветует..Робот что дали не понравился ..

Покажите свои robots.txt, у кого какие ?

vandamme
На сайте с 30.11.2008
Offline
675
vandamme
#3

shedemon, возьми из 9,2 - там есть роботс от разработчиков

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий