Липсинг в реальном времени в AS3

[undefined]

И я проверял, звук из наушников в микрофоне не слышен.

В микрофоне не может быть ничего слышно т.к. он не воспроизводит звук.Думаю имелось в виду,что звук от микрофона не слышен в наушниках,но это противоречит изначальному утверждению

Подскажите как сделать, чтобы при этом сам микрофон не было слышно?

Насчёт коэффициентов...

У тебя условие если уровень сигнала от микрофона*4 больше 20,то запускается анимация.Вот этот порог и надо подобрать чтоб анимация запускалась без setLoopBack