Ну нифига себе! Может вам попробовать вручную запускать ГЦ через класс Silin'а?
http://www.silin.su/#AS3/utils/gc
По коду ясно видно, что никаких ссылок на клипы не остается, а значит ГЦ обязан сработать. Тем более при таком объеме отжираемой памяти.