OpenVPN сервер - фильтрация и блокировка трафа

Закрыть все порты, кроме необходимых (веб, почта и т.д.)

Для нешифрованного трафика можно топорно модулем string iptables вырезать пакеты:

iptables -A FORWARD -m string --algo bm --string "BitTorrent" -j DROP

iptables -A FORWARD -m string --string "get_peers" --algo bm -j DROP

iptables -A FORWARD -m string --string "announce_peer" --algo bm -j LOGDROP

iptables -A FORWARD -m string --string "find_node" --algo bm -j LOGDROP

iptables -A FORWARD -p udp -m string --algo bm --string "BitTorrent" -j DROP

iptables -A FORWARD -p udp -m string --algo bm --string "BitTorrent protocol" -j DROP

iptables -A FORWARD -p udp -m string --algo bm --string "peer_id=" -j DROP

iptables -A FORWARD -p udp -m string --algo bm --string ".torrent" -j DROP

iptables -A FORWARD -p udp -m string --algo bm --string "announce.php?passkey=" -j DROP 

iptables -A FORWARD -p udp -m string --algo bm --string "torrent" -j DROP

iptables -A FORWARD -p udp -m string --algo bm --string "announce" -j DROP

iptables -A FORWARD -p udp -m string --algo bm --string "info_hash" -j DROP

iptables -A FORWARD -p udp -m string --algo bm --string "tracker" -j DROP

iptables -I OUTPUT -p udp -m string --algo bm --string "BitTorrent" -j DROP

iptables -I OUTPUT -p udp -m string --algo bm --string "BitTorrent protocol" -j DROP

iptables -I OUTPUT -p udp -m string --algo bm --string "peer_id=" -j DROP

iptables -I OUTPUT -p udp -m string --algo bm --string ".torrent" -j DROP

iptables -I OUTPUT -p udp -m string --algo bm --string "announce.php?passkey=" -j DROP 

iptables -I OUTPUT -p udp -m string --algo bm --string "torrent" -j DROP

iptables -I OUTPUT -p udp -m string --algo bm --string "announce" -j DROP

iptables -I OUTPUT -p udp -m string --algo bm --string "info_hash" -j DROP

iptables -I OUTPUT -p udp -m string --algo bm --string "tracker" -j DROP

Никак. Ибо у меня много заказов для настройки торрентов, которые умеют через 443 https.

Этот вариант не совсем хорош. Во первых он не решает проблемы кардинально (у нас уже есть лучшие решения), а во-вторых сильно ограничивает юзера.

Для нешифрованного трафа у нас есть уже решения. Вопрос именно в шифрованном.

Позвольте немного любопытства - что такое "заказ настройки торрентов" для системного администратора? Может и нам такое вдруг надобно?

Это возможность коннекта на 443 tcp торрент-клиентом грубо говоря

все равно трафик выходит в открытом виде, шифруется только от клиента до сервера. Торрент сейчас использует uTP протокол (не путать с udp), я маркировал его по размеру пакетов в диапозоне 1425-1470 байт на микротике и загонял в шейпер, в iptables есть модуль connbytes, попробуй так