Учитывается ли в результатах поиск закрытое от индексации?

Как известно, поисковые системы рекомендуют выставлять соответствующие записи в robots.txt или в коде html, если веб-мастер хочет, чтобы контент не инсдексировался.

Но вопрос возник такой: поисковые системы могу не заносить эти страницы в БД для выдачи, но при этом вполне себе могут отсматривать эти страницы и учитывать их при ранжировании тех, что формально открыты для поиска. Учитывают-таки или нет?

У меня просто на одном из сайтов закрыта вся cgi-bin директория, только html-страницы роботы поисковиков индексировать могут. А в cgi-bin находится очень много страниц довольно большого форума(часть из них имеют адреса в html и поэтому эту часть форума поисковики индексируют и выдают в результатах поиска нормально). Поэтому и возник такой вопрос.