помогите с robots.txt

7

roh

24 августа 2007, 16:57

467

Как правильно закрыть от индексации страницы профайлов пользователей на форуме через роботс, если урлы имеют следующий вид http://forum.ru/user1.html ?

ручная регистрация в каталогах (/ru/forum/84659)

165

Vanich

24 августа 2007, 17:17

#1

Узнайте, в каком каталоге на сервере лежат эти профайлы и закройте обычным тэгом disallow

Онлайн-консультант для юридических, медицинских, компьютерных, туристических сайтов. Удобно пользователю, прибыльно вебмастеру. (http://webmasters.leadia.ru/?ref=bIoqZIaath) MONKEYWRITE ТЕПЕРЬ БЕСПЛАТНО (https://yadi.sk/d/Hd9mbvyzeMMfp)

T

181

Timen

24 августа 2007, 17:25

#2

User-agent: * 

Disallow: /user

На досуге почитайте: Что такое роботс тхт?

Timen (http://www.timen.com.ua/)

7

roh

24 августа 2007, 18:08

#3

Timen:

User-agent: * 

Disallow: /user

На досуге почитайте: Что такое роботс тхт?

спасибо огромное.

V

55

Vodoley

24 августа 2007, 18:16

#4

Timen:

User-agent: * 

Disallow: /user

На досуге почитайте: Что такое роботс тхт?

Если не ошибаюсь

User-agent: * 

Disallow: /user/

иначе будут закрыты все урлы начинающиеся на user.

P.S. Если не ошибаюсь...

84

AVV

24 августа 2007, 18:26

#5

Vodoley

User-agent: *

Disallow: /user

будут закрыты все урлы, начинающиеся на /user

например, http://forum.ru/user1.html

что и нужно ТС.

T

181

Timen

24 августа 2007, 18:26

#6

Я понял, что урлы пользователей имеют вид:

http://forum.ru/user1.html

http://forum.ru/user2.html

...

http://forum.ru/userN.html

Написанный мной Выше robots.txt запрещает индексацию именно этих урлов (точнее всех тех, что начинаются на /user ).

V

55

Vodoley

24 августа 2007, 18:31

#7

AVV:
Vodoley

User-agent: *
Disallow: /user

будут закрыты все урлы, начинающиеся на /user

например, http://forum.ru/user1.html

что и нужно ТС.

Согласен не затупил, Timen всё правильно показал.😒

В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи

Все что нужно знать о DDоS-атаках грамотному менеджеру