Форум Не про работу Самое разное

Вопрос про Robots.txt

DN
На сайте с 13.10.2001
Offline
8
DimoN[RU.Board]
662

Есть линк на форуме на профиль юзера

http://forum.ru-board.com/profile.cgi?action=show&member=AnitrA

Достаточно ли в robots.txt дописать

User-agent: *

Disallow: /prifile.cgi

или надо конкретно каждого юзера прописывать.

А если их больше 7000 то тогда как?

PS Я хоть в тот раздел написал? Если что сорри.

N
На сайте с 08.03.2001
Offline
22
Nicholas
#1

<font face="Verdana" size="2">Originally posted by DimoN[RU.Board]:
Есть линк на форуме на профиль юзера

http://forum.ru-board.com/profile.cgi?action=show&member=AnitrA

Достаточно ли в robots.txt дописать

User-agent: *
Disallow: /prifile.cgi

или надо конкретно каждого юзера прописывать.
А если их больше 7000 то тогда как?
</font>

Насколько я знаю Robots Exclusion Protocol поддереживает исключение отдельных страниц:

Alternatively you can explicitly disallow all disallowed pages:

User-agent: *

Disallow: /~joe/private.html

Disallow: /~joe/foo.html

Disallow: /~joe/bar.html

и полностью поддерживает маску для файлов *.* так, что /profile.h* (например) будет достаточно. Если кто знает наверняка - поправте меня!

Link: http://www.robotstxt.org/wc/exclusion-admin.html

[This message has been edited by Nicholas (edited 13-10-2001).]

Николай
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Отчет о конференции User

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий