Вроде должно быть просто и в инете много похожих тем, но не одна не подходит, везде о маске с заливкой, а линии это наверное другое.
Вот как делаю и не работает -

Код AS3:
package
{
import flash.display.Bitmap;
import flash.display.BitmapData;
import flash.display.Sprite;
public class MaskaTest extends Sprite
{
[Embed(source="../../../bin/123.jpg")]
private var Picture0:Class;
public function MaskaTest()
{
var container:Sprite = new Sprite();
container.graphics.drawRect(0, 0, stage.stageWidth, stage.stageHeight);
super.addChild(container);
var bm:Bitmap = new Picture0();
container.addChild(bm);
var frame:Sprite = new Sprite();
frame.graphics.lineStyle(10);
frame.graphics.drawRect(0, 0, 100, 300);
frame.graphics.endFill();
addChild(frame);
var maskBMD:BitmapData = new BitmapData(frame.width, frame.height,true,0xffffff);
maskBMD.draw(frame);
var mask:Bitmap = new Bitmap(maskBMD);
container.mask = mask;
}
}
}