Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Правильный robots.txt

Belomor
На сайте с 28.02.2012
Offline
38
Belomor
1019

Здравствуйте уважаемые форумчане. Возник вопрос по robots.txt, сайт на движке DLE, правильно ли я написал его ? Очень хотелось бы узнать ваше мнение, что я не дописал или может переписал, а может что то из всего этого вовсе не нужно или неправильно прописанно?

вот как я прописал

User-agent: *

Disallow: /*print
Disallow: /*userinfo
Disallow: /2011*
Disallow: /2012*
Disallow: /backup/
Disallow: /language/
Disallow: /templates/
Disallow: /page/
Disallow: /tags/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /user/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /admin.php
Disallow: /backupurl.php
Disallow: /autobackup.php
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /engine/go.php
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /autobackup.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /index.php?subaction=userinfo
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /forum/search.php?
Disallow: /forum/member.php?
Disallow: /forum/memberlist.php?
Sitemap: http://мой_домен/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011*
Disallow: /2012*
Disallow: /backup/
Disallow: /language/
Disallow: /templates/
Disallow: /page/
Disallow: /tags/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /user/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /admin.php
Disallow: /backupurl.php
Disallow: /autobackup.php
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /engine/go.php
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /autobackup.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /index.php?subaction=userinfo
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /forum/search.php?
Disallow: /forum/member.php?
Disallow: /forum/memberlist.php?
Host: мой_домен

Sitemap: http://мой_домен/sitemap.xml

Спасибо зарание, буду признателен любому вашему мнению и ответу.

Doroshev
На сайте с 21.01.2010
Offline
186
Doroshev
#1

А зачем отдельно прописывать для Яндекса? Ведь вы написали User-agent: * - это вроде как для всех роботов =)

dendav
На сайте с 18.03.2010
Offline
51
dendav
#2
Doroshev:
А зачем отдельно прописывать для Яндекса? Ведь вы написали User-agent: * - это вроде как для всех роботов =)

Директива "Host" является нестандартной и является корректной только для робота Яндекса. Есть правило - все дополнительные директивы следует применять только в записях (секциях) для роботов, поддерживающих данные директивы, иначе возможны всякие неприятные штуки (смотря какая нестандартная директива используется).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий