Как измерить время выполнения всех правил iptables.

Только отладкой ядра.

так как iptables - вещь "ядерная" - то простыми методами - никак.

а зачем вам мерять скорость работы ipset ?

могу сказать так - на средненькой впс начинают быть тормоза где то при 50-70к правил.

Вот у примеру при DDoS атаке, сколько ip сможет банить ipset при 8 ядрах 2,2ггц что бы запрос обрабатывался не больше 10мс.

Если знать статистику, то можно посчитать время.

Запрос или соединение?

На таком сервере от 1 микросекунды на пакет и выше. Зависит от нахождения искомых IP в кэшах.

Я так понимаю что когда устанавливается соединение пакеты игнорируются в ipset, и проверяется ip только тогда когда уже отправляется заключительный пакет ASK от клиента. Или же пакеты SYN так же будут проверяться?

Каждый пакет проверяется все время.

Вероятно что Ipset можно настроить так что бы пакеты SYN игнорировались, а проверялись все остальные.

Прочтите вот тут: http://www.protocols.ru/files/Papers/iptables-test.pdf

Люди описывают как проводили эксперимент.

Вообще, dmesg пишет время аж c шестью знаками после запятой (в современных ядрах). Можно добавить два правила iptables -j LOG и попробовать хватит ли этой точности. Подозреваю, что не хватит.

Если очень хочется, то можно подгрузить модуль conntrack и построить правила так, чтобы проверялся пакет только у новых соединений. Модуль как раз для этого и придуман.

Для конфигурации без ipset это очевидно имеет смысл. Для ipset может быть наоборот замедлит в итоге, поскольку добавляется работа по проверке и поиску в этой таблице. Надо измерять.