Почему робот яндекса сканирует закрытые директивы?

AboutSEO Это Яндекс, шо тут скажешь, я недавно видел ссылку из старой подписи на SE, во внешних в явм сайта.

кстати, никто не замечал, что когда добавляешь сайт в вебмастер и выбираешь способ подтвержедения текстовым файлом, то в логах видно, что он проверяет еще и левые имена файлов подтвержедния, самое интересное, что он иногда заходит и пытается перепроверить не только файл подтверждения который сам просит создать, но и левые имена файлов подтверждения, не замечал правда всегда ли левые имена файлов одни и те же проверяются, у гугла тоже пару раз такое замечал

проверка левых файлов, скорее всего связана с проверкой ответов апача,

ведь его можно настроить, что он на все подряд будет отвечать - 200.

похоже на правду

Закройте в robots.txt, снимите ссылки на эти страницы с сайта и подайте запрос на удаление в яндексвебмастер.

Если сами не справитесь - пишите мне в личку, помогу.