Вот такие новости поступили. Антибот защищает от DMCA абуз.
Похожая проблема. Новый сайт изначально отдавал заголовок "x-robots-tag: noarchive". В поиск сайт вошёл с ссылками на сохранённые копии.
Есть какой то костыль чтобы решить эту проблему?