Форум Практика оптимизации Любые вопросы от новичков по оптимизации

помогите с robots.txt

roh
На сайте с 07.10.2006
Offline
7
roh
449

Как правильно закрыть от индексации страницы профайлов пользователей на форуме через роботс, если урлы имеют следующий вид http://forum.ru/user1.html ?

ручная регистрация в каталогах (/ru/forum/84659)
Vanich
На сайте с 10.07.2007
Offline
165
Vanich
#1

Узнайте, в каком каталоге на сервере лежат эти профайлы и закройте обычным тэгом disallow

Онлайн-консультант для юридических, медицинских, компьютерных, туристических сайтов. Удобно пользователю, прибыльно вебмастеру. (http://webmasters.leadia.ru/?ref=bIoqZIaath) MONKEYWRITE ТЕПЕРЬ БЕСПЛАТНО (https://yadi.sk/d/Hd9mbvyzeMMfp)
T
На сайте с 11.08.2005
Offline
181
Timen
#2 

User-agent: * 

Disallow: /user

На досуге почитайте: Что такое роботс тхт?

Timen (http://www.timen.com.ua/)
roh
На сайте с 07.10.2006
Offline
7
roh
#3
Timen:
User-agent: * 

Disallow: /user


На досуге почитайте: Что такое роботс тхт?

спасибо огромное.

V
На сайте с 23.04.2007
Offline
55
Vodoley
#4
Timen:
User-agent: * 

Disallow: /user


На досуге почитайте: Что такое роботс тхт?

Если не ошибаюсь 

User-agent: * 

Disallow: /user/

иначе будут закрыты все урлы начинающиеся на user.

P.S. Если не ошибаюсь...

AVV
На сайте с 31.07.2006
Offline
84
AVV
#5

Vodoley

User-agent: *

Disallow: /user

будут закрыты все урлы, начинающиеся на /user

например, http://forum.ru/user1.html

что и нужно ТС.

T
На сайте с 11.08.2005
Offline
181
Timen
#6

Я понял, что урлы пользователей имеют вид:

http://forum.ru/user1.html

http://forum.ru/user2.html

...

http://forum.ru/userN.html

Написанный мной Выше robots.txt запрещает индексацию именно этих урлов (точнее всех тех, что начинаются на /user ).

V
На сайте с 23.04.2007
Offline
55
Vodoley
#7
AVV:
Vodoley

User-agent: *
Disallow: /user

будут закрыты все урлы, начинающиеся на /user

например, http://forum.ru/user1.html

что и нужно ТС.

Согласен не затупил, Timen всё правильно показал.😒

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий