Форум Сайтостроение Веб-строительство

правильный robots.txt для dle

J
На сайте с 07.10.2010
Offline
163
Jaroslav
1081

Здравствуйте! Помогите пожалуйста составить правильный robots.txt для dle. Прочитал уже много тем на различных форумах и блогах, но везде роботсы отличались. Наиболее корректным показался этот:

User-agent: Yandex

Disallow: /user/

Disallow: /backup/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /upgrade/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /index.php?do=addnews

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=pm

Disallow: /index.php?do=register

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?subaction=newposts

Disallow: /?do=lastcomments

Disallow: /statistics.html

Host: ваш-сайт.ру

Sitemap: http://ваш-сайт.ру/sitemap.xml

User-agent: *

Disallow: /backup/

Disallow: /user/

Disallow: /engine/

Disallow: /language/

Disallow: /upgrade/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /index.php?do=addnews

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=pm

Disallow: /index.php?do=register

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?subaction=newposts

Disallow: /?do=lastcomments

Disallow: /statistics.html

Sitemap: http://ваш-сайт.ру/sitemap.xml

Многие еще советуют закрывать папку uploads, но ведь это уменьшит трафик, так как при поиске картинок через яндекс или гугл, ваш сайт не будет отображаться...или я ошибаюсь? Также советуют закрывать директорию print, но в моем шаблоне версии для печати нет, поэтому закрывать нечего. Пожалуйста помогите разобраться с этим вопросом. Может кто предоставит свои robots.txt. Заранее всем спасибо.

Jaroslav добавил 26.12.2010 в 16:37

неужели никто не может помочь составить robots.txt?

WebAlt
На сайте с 02.12.2007
Offline
267
WebAlt
#1

User-agent: *

Disallow: /engine/go.php

Disallow: /user/

Disallow: /newposts/

Disallow: /catalog/ - если нужно, закрываем каталог

Disallow: /tags/ - если нужно, закрываем теги

Disallow: /2010/ - если нужно, закрываем архивы (нужные года сами подставьте)

Disallow: /statistics.html

Disallow: /*rss - закрываем, если не хотите видеть ошибку в ВМ "Формат не поддерживается"

Disallow: /*print - если нужно, закрываем версии для печати (я закрываю так, а не средствами двига, т.к. двиг добавляет noindex и nofollow, что уже не актуально)

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Allow: /

Sitemap: http://www.сайт.ru/sitemap.xml

Host: www.сайт.ru

ПС: Все конечно индивидуально.

Это вообще не понятно, зачем закрывать:

Disallow: /backup/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /upgrade/

Disallow: /autobackup.php

Disallow: /admin.php

autobackup.php и admin.php нужно переименовать на свое уникальное название, папку upgrade - удалить. User-agent: Yandex и User-agent: * не дублируют. * - все поисковики, Yandex - только Yandex.

Как-то так. 🚬

Составление файла robots.txt О чем нужно помнить Оптимизация плавающих фреймов для
[Удален]
#2

Пригодится, спасибо.

WebAlt
На сайте с 02.12.2007
Offline
267
WebAlt
#3
Disallow: /*print - если нужно, закрываем версии для печати (я закрываю так, а не средствами двига, т.к. двиг добавляет noindex и nofollow, что уже не актуально)

Пардон, ноиндекс не добавляет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий