Недавно имел дело с кодированием флэшвидео в ffmpeg.
на выходе ffmpeg дает flv на кодеке Sorenson H.263 (FlashMX 2004). Качество оставляет желать лучшего. Кодирование в On2 VP6 не поддерживается. На том же Ютубе используется для этого
On2 Flix Engine SDK , который стоит 3000 уе в год. Так что остается ждать включения поддержки VP7, который On2 решили сделать открытым.