[etc]

Код нужно было написать в первом кадре не сцены, а мувика, в котором маска и маскируемые мувики. И вообще, примеры кода есть в хелпе.
Надо было написать

mo.cacheAsBitmap = true;
m.cacheAsBitmap = true;
mo.setMask(m);