robots.txt

C8
На сайте с 03.03.2011
Offline
48
721

Здравствуйте уважаемые форумчане хочу запретить индексацию профилей пользователей на форуме IPB через robots.txt но ни знаю как это воплатиь Благодарю за помощ

вот код

# HOW TO USE THIS FILE:

# 1) Edit this file to change "/forum/" to the correct relative path from your base URL, for example if your forum was at "domain.com/sites/community", then you'd use "/sites/community/"
# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)
# 3) Edit the file to remove this comment (anything above the dashed line, including the dashed line
#
# NOTES:
# Even though wild cards and pattern matching are not part of the robots.txt specification, many search bots understand and make use of them
#------------------------ REMOVE THIS LINE AND EVERYTHING ABOVE SO THAT User-agent: * IS THE FIRST LINE ------------------------------------------
User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/style_captcha/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /forum/index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /forum/index.php?app=forums&module=extras&section=rating
Disallow: /forum/index.php?app=forums&module=forums&section=markasread

И ещё я сейчас обнаружил жно у меня файл называется robotstxt.txt а ни robots.txt правильно ли это ?

Lipcrus
На сайте с 05.05.2009
Offline
83
#1
contra87:


И ещё я сейчас обнаружил жно у меня файл называется robotstxt.txt а ни robots.txt правильно ли это ?

Не правильно, нужно просто robots.txt

siv1987
На сайте с 02.04.2009
Offline
427
#2
И ещё я сейчас обнаружил жно у меня файл называется robotstxt.txt а ни robots.txt правильно ли это ?

# 2) Rename the file to 'robots.txt' and move it to your web root (public_html, www, or htdocs)

запретить индексацию профилей

С чпу

Disallow: /user/

без

Disallow: /index.php?showuser=

vakul64
На сайте с 22.03.2011
Offline
72
#3

Добрый день! Просмотрел несколько сайтов на эту тему, везде примерно одно и то же. Немного понял, но вопросы все равно остались. Помогите правильно составить файл robots.txt для моего сайта http://vakul.ru . Я так понял, что нужно запретить к индексации все служебные файлы --Disallow: /wp-admin/.? Потом ссылки которые повторяются в категориях -- Disallow: /category/. ? А еще, я в этом плохо разбираюсь, но как сделать, что бы поисковики не индексировали ссылки на файлообменники ? Или это не нужно?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий