1. как вы импортиреуте шрифт? случайно не через import to library?
2. то что свиф раздулся до 5 мб после того как вы написали в нём определёным шрифтом -- я не готов поверить
3. я бы посоветовал FM, но увы...поищите по форуму есть решения. В частности нужно создавать в либе фонт а не импортировать туда...после этих слов я предполагаю что прибегут один-два говорящих что фонт в либе зло

.
если у вас поля динамичные то сделайте ембед...ну либо засуньте шрифт в либу, есть ещё один вариант который предлагал iNils...вообщем поиск.