В каком файле можно изменить сортировку новостей в DLE?

Удалить здесь: /engine/modules/functions.php

Если по популярности, то закомментировать или удалить код:

'rating' => array (
'name' => $lang['sort_by_rating'], 'value' => "rating", 'direction' => "desc", 'image' => "" ), 

Переименовать здесь: /language/Russian/website.lng

// 7.2

sort_by_date

sort_by_rating

sort_by_read

sort_by_title

sort_by_comm

Внешний вид настраивается в .css вашего шаблона.

А в каком файле можно создать свою из доп полей(отдельное поле в таблице, не xfigen)?

Ни в каком. Доп поля в ДЛЕ хранятся в конкретном поле. Остальные "доп поля" создаются в ручную, и в ручную хардкодом подключаются в селекте запроса.

А можно както вместо стандартной(Сортировать по: дате | просмотрам | ответам) сделать чекбокс(список)?