Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Верный ли Robots.txt на DLE 9.6 ?

W
На сайте с 11.07.2010
Offline
56
wetik
284

User-agent: *

Disallow: /engine/go.php

Disallow: /engine/download.php

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Сейчас такой, изменить что? Добавить?

WebMage
На сайте с 17.08.2011
Offline
147
WebMage
#1

Я использую на 9.6

User-agent: *

Disallow: /*print

Disallow: /2012/

Disallow: /2013/

Disallow: /user/

Disallow: /engine/

Disallow: /favorites/

Disallow: /lastnews/

Disallow: /newposts/

Disallow: /catalog/

Disallow: /addnews.html

Disallow: /statistics.html

Disallow: /rules.html

Disallow: /dle-rules-page.html

Disallow: /*?*

Disallow: /?

снял его с прошлого сайта который продал за 60к, при том делал его всего месяц. только никаму больше не палите тему!

Новые стандарты для директивы Составление файла robots.txt Мэтт Катс объяснил, зачем
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#2
WebMage:
Disallow: /*?*
Disallow: /?

Раскрой тайну знаков.

WebMage
На сайте с 17.08.2011
Offline
147
WebMage
#3
kimberlit:
Раскрой тайну знаков.

Я правда не знаю, но robots.txt для меня болезненная тема, стрельнуло с прошлым сайтом с ним, вот и пользуюсь как талисманом своего рода.

kimberlit а Вы уважаемый можете сказать

Disallow: /*?*
Disallow: /?

могут навредить?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий