[mooncar]

Очень возможно, что достигается потолок по использованию программой памяти (не в смысле, что у вас ОЗУ мало). Было похожее. Попробуйте отслеживать рабочую память приложения по диспетчеру задач (это если у вас винда). Точно мне не известно - совет из области - "надо же с чего-то начинать разбираться". Я бы начал с этого.
И попробуйте все-таки поиспользовать разные кодеки.
В крайнем случае - пишите видео прямо с экрана при воспроизведении ролика.