[S-ed]

diduk
Так у Вас ничего не получится.
BlendMode.ALPHA применяет альфа канал текущего объекта к бэкграунду родителя (родитель должен быть BlendMode.LAYER)
У Вас картинка маски не содержит альфа канала. Либо сделайте ее в сторонней программе, либо скопируйте любой из цветов в альфу с помощью copyChannel().