а вот такой у меня роботс, запрещаю всяких бесполезных пауков.
User-agent: *
Disallow:
User-agent: ia_archiver
Disallow: /
User-agent: TurnitinBot
User-agent: Zyborg
