[maxlapshin]

Можно заставить сервер посылать второй файл строго после 1-й секунды первого. Просто это не даст гарантии их синхронности =(

Сводить в один аудиопоток*— это займет столько же времени, сколько и ffmpeg-ом