Яндекс нужно более гибким становиться
если есть ssh - tar
обычный обман
google.com/robots.txt
этот сервис особо не юзаю но вроде работало
