Если страница запрещена в robots.txt пройдут ли сквозь нее пауки?

118

Anton

5 сентября 2006, 16:03

517

Вот к примеру форум любой возьмем.

list.php - показывает список тредов, с него идут ссылки на read.php - там уже показываются мессаги. Хочу, чтобы список тредов (list.php) не индексировался, но чтобы индексировались мессаги (read.php). Если я закрою в robots.txt Disallow: /list.php проиндексируют ли поисковики нижележащие страницы при условии, что других путей туда нет?

K

737

Kost

5 сентября 2006, 16:10

#1

Если вредитель добавит нижележащую, незапрещенную страницу в addurl, вас ничто не спасет :)

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

A

118

Anton

5 сентября 2006, 16:23

#2

Kost:
Если вредитель добавит нижележащую, незапрещенную страницу в addurl, вас ничто не спасет :)

Те. насколько я понял, через закрытую страницу пауки вглубь не пойдут?

А как бы тогда решить проблему индексации форума? В том смысле, чтобы были проиндексированы страницы самого нижнего уровня и не были проиндексированы страницы вышележащегго уровня. Сделать отдельную карту сайта? В форуме более ста тысяч мессаг, боюсь пауки задавятся жевать страницу со 100k ссылок :D

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

54

Лёлик

5 сентября 2006, 17:22

#3

Вставьте мета тэг в страницу list.php

A

118

Anton

5 сентября 2006, 20:15

#4

Лёлик:
Вставьте мета тэг в страницу list.php

Благодарю!

Похоже то, что нужно.

Вышел новый Яндекс Браузер с YandexGPT и YandexART

Переиграть и победить: как анализировать конкурентов для продвижения сайта