Файл "ads"

Что-то всё совсем фантастически в данном случае выглядит. Это не тот робот. Роботы рекламных систем к поисковым роботам не имеют никакого отношения. Это просто две разные независимые системы. И сайт может вообще быть непроиндексированным ПС из-за того, что ПС не хочет его индексировать или вебмастер закрыл (насколько смог) его от индексации, но к работе рекламных объявлений на этом сайте всё это не будет иметь никакого отношения. Да и как можно "случайно" поместить информацию даже для "того" робота в robots.txt об отдельном файле в корне ads.txt - большая загадка.