Не давно столкнулся с такой хренью, аж сервак в месте с сайтом dowladssoft.ru вырубало. И начал искать как запретить индексацю или ограничить. Полазил по интернету и нашёл о чём не знал.
Робот mail.ru можно усмерить.
Читай сдесь: http://go.mail.ru/help_robots.html
