Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Роботс для сайта

[Удален]
377

Добрый вечер. Подскажите как правильно составить robots.txt на dle ?

Вот у меня такой сейчас стоит, что здесь не так ?


User-agent: *
Disallow: /autobackup.php
Disallow: /engine/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /forum/
Disallow: /templates/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Disallow: /autobackup.php
Disallow: /engine/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /forum/
Disallow: /templates/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
Mr.Smile
На сайте с 10.01.2011
Offline
65
Mr.Smile
#1

Теги и архив закройте.

D_len:
Disallow: /forum/

Форум есть? Почему он закрыт?

<--TTT-->
[Удален]
#2

Не, форума нету. Теги как я понял так закрываются /tag/ , а архивы как ?

Mr.Smile
На сайте с 10.01.2011
Offline
65
Mr.Smile
#3
D_len:
Disallow: /forum/

Удалите это.

D_len:
а архивы как ?

Припечатайте год к сайту и увидете архивы за этот год. Пример: site.ru/2011/

Mr.Smile добавил 07.05.2011 в 22:36

P.S. Надеюсь у вас там есть редирект на адрес со слэшем в конце, если набирать без слэша. Для ПС это разные пути.

Добавился слеш на конце Дубли страниц со слэшем как *.html/ перенаправить на
[Удален]
#4

архивы я не вывожу. у меня они отключены, а как ридирект сделать ?:)

Mr.Smile
На сайте с 10.01.2011
Offline
65
Mr.Smile
#5
D_len:
а как ридирект сделать ?

Через .htaccess

Mr.Smile добавил 08.05.2011 в 00:10 

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_URI} !\..{1,10}$

RewriteCond %{REQUEST_URI} !(.*)/$

RewriteRule ^(.*)$ http://www.site.ru/$1/ [L,R=301]

Вроде все правильно.....

Mr.Smile добавил 08.05.2011 в 00:12

Надо что бы перед ним был RewriteEngine on

Надеюсь у вас хостинг это поддерживает.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий