Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Если страница запрещена в robots.txt пройдут ли сквозь нее пауки?

A
На сайте с 29.12.2005
Offline
118
Anton
517

Вот к примеру форум любой возьмем.

list.php - показывает список тредов, с него идут ссылки на read.php - там уже показываются мессаги. Хочу, чтобы список тредов (list.php) не индексировался, но чтобы индексировались мессаги (read.php). Если я закрою в robots.txt Disallow: /list.php проиндексируют ли поисковики нижележащие страницы при условии, что других путей туда нет?

K
На сайте с 31.01.2001
Offline
737
Kost
#1

Если вредитель добавит нижележащую, незапрещенную страницу в addurl, вас ничто не спасет :)

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
A
На сайте с 29.12.2005
Offline
118
Anton
#2
Kost:
Если вредитель добавит нижележащую, незапрещенную страницу в addurl, вас ничто не спасет :)

Те. насколько я понял, через закрытую страницу пауки вглубь не пойдут?

А как бы тогда решить проблему индексации форума? В том смысле, чтобы были проиндексированы страницы самого нижнего уровня и не были проиндексированы страницы вышележащегго уровня. Сделать отдельную карту сайта? В форуме более ста тысяч мессаг, боюсь пауки задавятся жевать страницу со 100k ссылок :D

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
Лёлик
На сайте с 28.04.2006
Offline
54
Лёлик
#3

Вставьте мета тэг в страницу list.php

<meta name="robots" content="noindex,follow">
A
На сайте с 29.12.2005
Offline
118
Anton
#4
Лёлик:
Вставьте мета тэг в страницу list.php

Благодарю!

Похоже то, что нужно.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий