Сервер дома

Скорее всего провайдер режет скорость. Если скорость будет в норме, то рекомендую рассмотреть сжать файлы и отдавать mp4 через HLS. Пример выхода: http://ip:port/vod/folder/file.mp4/playlist.m3u8
Есть готовое решение под любую почти OS:
Скрипт сжатия (конвертирования) файлов массово через FFMPEG

for f in /ПУТЬ_ДО_ПАПКИ_С_ВИДЕО/*.mkv ; do
ffmpeg -i "${f}" scale="'w=if(gt(a,16/9),3840,-2):h=if(gt(a,16/9),-2,2160)'" -r 25 -crf 25.0 -vcodec libx264 -preset slower -bufsize 8M -acodec aac -strict -2 -ac 6 -ar 48000 -ab 128K -coder 1 -flags +loop -cmp +chroma -partitions +parti4x4+partp8x8+partb8x8 -me_method hex -subq 6 -me_range 16 -g 250 -keyint_min 25 -sc_threshold 40 -i_qfactor 0.71 -b_strategy 1 -threads 0 -pass 1 -y "${f}_.mp4"
rm -if "${f}"
done

4K: scale="'w=if(gt(a,16/9),3840,-2):h=if(gt(a,16/9),-2,2160)'" - указывает на то, что видео будет масштабироваться, чтобы картинка и лица не растягивались.
-preset - ultrafast,superfast,veryfast,faster,fast,medium,slow,slower,veryslow,placebo
Перед -bufsize 8M можно добавить -b 9M -minrate 9M -maxrate 9M
rm -if "${f}" - удалить исходник

Запустить скрипт в фоне и можно выйти из терминала: nohup ./convert.sh &
Рекомендую использовать пресет slower, грузит процессор, но на выходе не сильно заметно ухудшения качества. Но вес и битрейт файлов значительно уменьшается.
И уже потом сжатые файлы отдавать через HLS.

А вообще, дома держать сервер - это надо быть обезбашенным))) Видимо не сталкивались с местными законами. Вон в Германии коллега начал качать торрент и потом доказывал, что не он качал, а wi-fi взломали или роутер и использовали как прокси)))
Неужели нету ~$45 на сервер, в том же OVH?