Вопрос по Robots.txt

Ждите и две последние строки уберите

Ага убрал, но так уже год они не уберабтся..или те строки мешали этому?

Роботс полностью покажите

достаточно Disallow: /index.php?*

Dragovith, действительно, весь robots в студию

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', да и фиг его знает, какие параметры у него там могут быть, например номер страницы или что-то еще, поэтому достаточно будет

Disallow: *feedback

Роботс в студию полностью, пришел к доктору - открой/раздвинь не стесняйся

Вот:

User-agent: *

Allow: /

Disallow: /tags/

Disallow: /*/print*

Disallow: /user/admin/

Disallow: /user/

Disallow: /images/

Disallow: /css

Disallow: /js

Disallow: /backup/

Disallow: /language/

Disallow: /templates/

Disallow: /upgrade/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /uploads/*

Disallow: /uploads/posts/

Disallow: /engine/download.php

Disallow: /newposts/

Disallow: /*/index.php?do=feedback

Disallow: /www.saite.ru/go?

Disallow: /www.saite.ru/index.php?do=search&mode=advanced

Disallow: /www.saite.ru/index.php?do=register

Disallow: /www.saite.ru/index.php?do=addnews

Disallow: /www.saite.ru/index.php?do=stats

Disallow: /www.saite.ru/statistics.html

Disallow: /www.saite.ru/user/*

Disallow: /index.php?do=lostpassword

Disallow: /?do=search&mode=advanced

Disallow: /?do=register

Disallow: /?do=addnews

Disallow: /?do=stats

Disallow: /www.saite.ru/stylemain.js

Sitemap: http://www.saite.ru/sitemap.xml

Host: www.saite.ru

User-agent: Yandex

Allow: /

Disallow: /tags/

Disallow: /*/print*

Disallow: /user/admin/

Disallow: /user/

Disallow: /images/

Disallow: /css

Disallow: /js

Disallow: /backup/

Disallow: /language/

Disallow: /templates/

Disallow: /upgrade/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /uploads/*

Disallow: /uploads/posts/

Disallow: /engine/download.php

Disallow: /newposts/

Disallow: /*/index.php?do=feedback

Disallow: /www.saite.ru/go?

Disallow: /www.saite.ru/index.php?do=search&mode=advanced

Disallow: /www.saite.ru/index.php?do=register

Disallow: /www.saite.ru/index.php?do=addnews

Disallow: /www.saite.ru/index.php?do=stats

Disallow: /www.saite.ru/statistics.html

Disallow: /www.saite.ru/user/*

Disallow: /index.php?do=lostpassword

Disallow: /?do=search&mode=advanced

Disallow: /?do=register

Disallow: /?do=addnews

Disallow: /?do=stats

Disallow: /www.saite.ru/stylemain.js

Sitemap: http://www.saite.ru/sitemap.xml

Host: www.saite.ru

User-Agent: Googlebot

Allow: /

Disallow: /tags/

Disallow: /*/print*

Disallow: /user/admin/

Disallow: /user/

Disallow: /images/

Disallow: /css

Disallow: /js

Disallow: /backup/

Disallow: /language/

Disallow: /templates/

Disallow: /upgrade/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /uploads/*

Disallow: /uploads/posts/

Disallow: /engine/download.php

Disallow: /newposts/

Disallow: /*/index.php?do=feedback

Disallow: /www.saite.ru/go?

Disallow: /www.saite.ru/index.php?do=search&mode=advanced

Disallow: /www.saite.ru/index.php?do=register

Disallow: /www.saite.ru/index.php?do=addnews

Disallow: /www.saite.ru/index.php?do=stats

Disallow: /www.saite.ru/statistics.html

Disallow: /www.saite.ru/user/*

Disallow: /index.php?do=lostpassword

Disallow: /?do=search&mode=advanced

Disallow: /?do=register

Disallow: /?do=addnews

Disallow: /?do=stats

Disallow: /www.saite.ru/stylemain.js

Sitemap: http://www.saite.ru/sitemap.xml

Host: www.saite.ru

Dragovith добавил 30.09.2011 в 19:40

Да и вообще какие дериктории стоит закрывать?

чтоб в индекс не попадало:

http://www.saite.ru/user/имя поьзователя/

http://www.saite.ru/page/11/

http://www.saite.ru/index.php?do=search

и вообще чтоб в индексе было то что нужно для Seo, а не помойка всякая... Заранее Спасибо..!

Как минимум Allow: / уберите

Это чо?

Disallow: /www.saite.ru/go?

Disallow: /www.saite.ru/index.php?do=search&mode=advanced

Disallow: /www.saite.ru/index.php?do=register

Disallow: /www.saite.ru/index.php?do=addnews

Disallow: /www.saite.ru/index.php?do=stats

Disallow: /www.saite.ru/statistics.html

Disallow: /www.saite.ru/user/*

Host только для Яндекса, Sitemap достаточно 1 раз где угодно

А вообще в интернетах 100500 умных статей про роботс, справки яндекса и гугла и инструменты в вебмастерах для проверки

После Allow: / все Disallow в этом robots не работают.