http://flasher.ru/forum/showthread.php?t=141485
То есть маска и маскируемый помещаются в один контейнер, этому контейнеру ставится BlendMode.LAYER,
а маске - BlendMode.ALPHA или BlendMode.ERASE в зависимости от задачи, плюс кеширование в битмап, если маска – векторный шейп.