Как правильно забанить IP?

Сколько бы Вы не добавили таких правил - брутофорсить все равно будут с других IP

Самое действенное в таком случае - разрешить 22 порт только для тех IP которым можно на него ходить, все остальное - дроп. По другому не избавитесь.

Порт перевешивать обязательно.

Эффект будет от тысяч попыток в день до нуля. Сразу.

По поводу автоматического отлова сканеров и хакеров есть ещё один вариант — дырку в фаере на 22 оставить, и настроить portsentry.

Достаточно будет лишь попытки подключиться по стандартному порту, чтобы улететь в бан.

Забаненных лучше в таблице размещать, нагрузка намного меньше, чем отдельные правила для каждого.

Не знаю, как это в iptables, но ipfw на ура делается, а потом можно грузить из списка при старте.

При помощи IPSET это делается