Я так понимаю, вы себе представляете, изза чего происходит потеря качества? Вы наверняка и исходный файл сохраняете с каким-нибудь сжатием, при чем lossy, типа MPEG'a какого-нибудь, ну и естественно, повторная перекодировка, да и еще раз в MPEG.
Ну и пробуйте еще mp4 должно получится когда-нибудь

Принципиальным является использовать H.264 кодак.
Вот тут информация, как это все происходит:
http://labs.adobe.com/wiki/index.php...9:Update:H.264