Таких значений у aviable нет, читайте документацию к движку:
http://dle-news.ru/extras/online/startnews.html
Директива Crawl-delay:
http://help.yandex.ru/webmaster/?id=996567#1022359
https://support.kaspersky.com/ru/PersonalCabinet
Выводил домен из под фильтра (по маске, слово попало в имени домена) антибаннера , года 2,5 назад - без проблем и в течении суток добавили домен в исключение. Случай правда немного другой был, чем у ТС.
http://dle-news.ru/2006/12/11/perenos_sajjta_s_lokalnogo_servera_na_khosting.html
Понятно, спасибо.
http://www.ibresource.ru/
Работа с движком >>> Вывод новостей на страницах.
Слишком многие ставят сторонние уязвимые модули и хаки, Nulled - версии движка и модулей, не следят за своими паролями к админ-панели, фтп и БД, не переименовывают admin.php, выставляют не правильные права на файлы, используют рипнутые шаблоны, дают доступ в админ-панель на право и налево, пользуются хостингами за три копейки, не пользуются антивирусом на своем компе и не чистят зубы на ночь, и т.д и .т.п..
Документацию не судьба почитать?
[aviable=showfull]текст[/aviable]
Удалять не пробовали? :)
ТС, dle сам ни чего не генерит, и при чем тут DLE? Если это robots.txt от Drupal.