А в чем вопрос то? Тут несколько вопросов нужно было бы задать, т.к. несколько систем задействовано.
Передача видео клиенту идёт через Flash Media Server или через Red5 (думаю, что Youtube вполне мог купить лицензионку на неограниченное количество коннектов)
. Остальные вопросы по установке коннекта и передаче видео-данных - это уже конкретика.
Второй момент - перекодирование любого (несколько основных форматов) файла в flv - это задача софта, лежащего на сервере. Есть программы с открытым кодом для этого (я названия не помню). Можно написать самому (но это геморройно, бы не стал)