Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Robots.txt для форума

ТТ
На сайте с 26.01.2007
Offline
1
ТимурТ
636

Подскажите, какой должен быть Robots.txt, чтобы запретить индексацию раздела форума "members"?

Адрес странички имеет вид www.сайт.ru/phpBB/memberlist.php

Может быть есть какой более-менее стандартный Robots.txt для стандартного PHPbb форума, закрывающий все бесполезное с точки зрения индексирования?

FlyAway
На сайте с 01.06.2005
Offline
439
FlyAway
#1

Стандартное правило:

User-agent: *

Disallow: /phpBB/memberlist.php

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
ТТ
На сайте с 26.01.2007
Offline
1
ТимурТ
#2
FlyAway:
Стандартное правило:

User-agent: *

А что значит *


Disallow: /phpBB/memberlist.php

Можеть есть еще разделы, которые стоит для стандартного PHPbb закрыть?

РожденныйОсенью
На сайте с 05.01.2006
Offline
77
РожденныйОсенью
#3
ТимурТ:
А что значит *

Исполнять правила всем роботам.

ТимурТ:
Можеть есть еще разделы, которые стоит для стандартного PHPbb закрыть?

Есть.

Проблемы зоны РФ (http://www.yaoptimizator.ru/2008/09/06/kirillicheskie-domeny/) Как заставить пользователей подписываться на RSS? (http://www.yaoptimizator.ru/2008/10/22/istoriya-sozdaniya-rss-kartinki/)
nbrand
На сайте с 07.02.2007
Offline
18
nbrand
#4
ТимурТ:
А что значит *

Значит, что для директива работает для всех роботов (не важно Яндех , Гугл или еще что)

ТимурТ:

Можеть есть еще разделы, которые стоит для стандартного PHPbb закрыть?

Извините, не пользовался PHPbb.

FlyAway
На сайте с 01.06.2005
Offline
439
FlyAway
#5
ТимурТ:
А что значит *

Для всех роботов.

ТимурТ:
Можеть есть еще разделы, которые стоит для стандартного PHPbb закрыть?

Не знаю, посмотрите крупные phpbb, на них может быть прописан нормальный robots.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий