Яндекс ходит по запрещенным страницам

Уж не знаю какие там боты у Яндекса, но мои боты хавают Ваш Test-Bots и не морщатся. :) Думаю, что правильные боты ПС не глупее моих.

То, что его хавают — это много лет известно // автор того блога всё ждёт: когда же начнётся выполнение ботами XSLT? Пока этого не видно... (хотя Гугл уже в AJAX разбирается).

А user.js боты запрашивают?

Тест именно на выполнение XSLT (в файле.XSL и происходит подключение файла.JS — браузер с этим справляется).

Тест желательно проводить долго... и с минимум реальных посетителей (у которых стоят всякие бары... которые и могут всё испортить).

И XSLT обрабатывают, и скрипт запрашивают, и скрытый текст переваривают.

Конечно, индексаторам это всё не нужно, а вот "роботам более высокого порядка" (если у ПС таковые имеются), не составит особого труда увидеть, то, что видит пользователь.