А мне кажется в каждой шутке есть доля шутки)
Есть такая тема, уверен я. Если сайт идеален, то тут 50\50, либо вебмастера реально следят, либо его двигают)
Вот Яндекс и разбавляет ТОП чистых белых и пушистых сео-сайтов убогими, но зато "честными" :)
на уровне сервера определять при входящем запросе, к какому из сайтов идёт обращение, после этого пути 2:
- формировать на лету нужный txt-файл с соответственно прописанным Host в нём;
- отдавать один нужный из 70 уже готовых robots`ов.
