Индексация запрещённых страниц

вы точно уверены, что это действует на указанный документ?

например, инструкция

Disallow: /reading/

запрещает все адрес site.ru/reading/какие-угодно-страницы.html

а вот в одном корневом уровне, адреса

/reading.php и reading.php?чего-нибудьтам-еще теоретически могут вести на разные веб документы.

а с чего бы не запрещает?

А с чего запрещает?

ТССС Лучше пусть пишут!

А вообще если задуматься, зачем закрывать то на что активно ссылаются?

согласен, не запрещает, я литеру «l» не заметил :o

http://help.yandex.ru/webmaster/?id=996567#996572

написано что так, да и ручная проверка страниц в Инструментах вебмастера гугла и яндекса это подтверждает

это уже какое-то противоречие - гугл видит страницы, заблокированные роботсом, но не видит метатег ноиндекс на них?

У меня в роботсе стоят запрет на индексацию определенных рубрик, google в упор не слушает роботс, а вот яндекс после месяца, наконец-таки послушался и начал выкидывать из поска страницы закрытые в роботсе.

Эта страница хелпа очень активно изменяется...

User-agent: *

Disallow: /flash/

Disallow: /images/

Disallow: /reading.php

Disallow: /404.html

rect.ru/404.htm

rect.ru/reading.php?n=11

rect.ru/reading.php?n=20

rect.ru/reading.php?n=2

rect.ru/reading.php?n=10

Ну с /404.htm - тут всё как и надо, так как зхапрет на более длинный урл /404.html

C reading.php - хер его знает, я бы посоветовал продублировать

Disallow: /reading.php

Disallow: /reading.php*

Тут ещё кое что:

Является ли

User-agent: *

Disallow: /flash/

Disallow: /images/

Disallow: /reading.php

Disallow: /404.html

последним блоком в файле robots?

Да, этот блок является последним.