Index-noindex без META и robots.txt

Скажу сразу, что не знаю точно, как это работает, но, например, subscribe.ru в теле документа рассылки пишет:

<!--noindex-->

<!--/noindex-->

К чему бы это? Можно сделать вывод, что это вроде бы правильный синтакс, что все равно оставляет открытым вопрос, как это в точности работает. И тем более в разных SE.

И ещё насчёт этих noindex..

так что же у нас вообще получается:

Если мы, допустим, слепим по 4 варианта каждой страницы (не у всех сайты по две тысячи страниц )для каждого SE в отдельности (русские машины онли), в robots.txt пропишем что кому можно и что кому нельзя, то вот она вам -идеальная релевантность для всех SE сразу?

А есть при этом гарантия что роботы прочтут в точности что прописано?

Или тут дело в том, что robot name - субстанция ,у которой в приоде оччень много, значений, и каждого робота не нанеймишь?

Может ли кто-нибудь это прокоментировать?