robots.txt запрещает индексацию. А следование по ссылкам при этом остается?

0

iSmart

21 сентября 2004, 06:11

419

Есть страница index.htm, в которой есть ссылки на a.htm и b.htm.

index.htm запрещена к индексации через robots.txt.

Вопрос: просмотрит ли все-таки поисковик (любой) содержимое страницы, чтобы выловить ссылки, перейти по ним, и проиндексировать a.htm и b.htm?

158

Netsah

21 сентября 2004, 06:22

#1

Нет конечно, если только на эти страницы нет ссылок на других сайтах.

Хотя, были случаи, когда даже robots.txt Gooogle игнорировал.

Детям - мороженое, женщинам - цветы.

I

0

iSmart

21 сентября 2004, 06:29

#2

То бишь, в такой ситуации следует воспользоваться <META name=Robоts content="noindex,follow">?