Ошибка SQL MAX JOIN SIZE

Какая версия Mysql и в каком формате БД?

COUNT(*)

Вызывает тоже самое?

А если без COUNT будет так же ошибка?

MariaDB 10.5.12,  таблицы InnoDB.
COUNT(*) даёт ту же ошибку. Без COUNT тоже.

Отлично, теперь уменьшайте количество forum_id и без COUNT смотрите, что вам выводит БД. Если там меньше 100 строк то никаких проблем, если будет больше, значит что-то не так где-то.

Не так там что-то в планировании запроса, сервер как-то странно пытается "предвидеть" результат. 
Запрос

SELECT topic_id AS total FROM pb_topics WHERE forum_id IN (4, 5, 6, 7, 8, 11, 16, 17) 
AND topic_visibility IN (0, 3)

выдаёт ту же ошибку, а запрос

SELECT topic_id AS total FROM pb_topics WHERE forum_id IN (4, 5, 6, 7, 8, 11, 16) 
AND topic_visibility IN (0, 3)

или запрос

SELECT topic_id AS total FROM pb_topics WHERE forum_id IN (4, 5, 6, 7, 8, 11, 17) 
AND topic_visibility IN (0, 3)

завершаются успешно, и выдают результат 0 строк.

Последний запрос убираем 

AND topic_visibility IN (0, 3)

Смотрим, что будет.

Вообще у меня плохие воспоминание об 10.5 у меня она один запрос вообще не выполняла, а тупо зависала.

Будет какая-то мистика.
Если убрать последний запрос, будет всё без ошибок, выдаётся правильный ответ, все строки таблицы.
Без ошибок также следующие варианты:

AND topic_visibility IN (0)
AND topic_visibility IN ( 3)
AND topic_visibility IN (1, 3)
AND topic_visibility IN (0, 3, 1)
AND topic_visibility IN (0, 1)

А варианты
AND topic_visibility IN (0, 2) 
AND topic_visibility IN (0, 3)
AND topic_visibility IN (0, 4)
дают ошибку.

Вот и у меня такое впечатление, что это какой-то баг.

А если без IN просто AND и OR?

Вроде бы сервер всё равно преобразует IN() в OR (или хз какая там кухня). 
Но проверил.

AND (topic_visibility=0 OR topic_visibility=3)

Та же фигня. Та же ошибка. Меняем 3 на 1 или 0 на 1 – ошибка пропадает.