[AntonioPermskiy]

Да, вариант с прозрачным png прокатит - нужно сейчас будет разобраться, как генерить такие png.

Нашел такое решение:

var
  lBitmapDataTest: TBitmapDataTest = new TBitmapDataTest(0,0);
 
var
  lBitmapData: BitmapData = new BitmapData(400, 400, true, 0x00FFFFFF);
 
 
var pt:Point = new Point(0, 0);
var rect:Rectangle = new Rectangle(0, 0, 400, 400);
var threshold:uint =  0xFFFFFFFF; 
var color:uint = 0x00FFFFFF;
var maskColor:uint = 0xFFFFFFFF;
trace(lBitmapData.threshold(lBitmapDataTest, rect, pt, "==", threshold, color, maskColor, true));
 
var lBitmap:Bitmap = new Bitmap(lBitmapData);
addChild(lBitmap);

threshold работает, но появляются артефакты. Заметил, что лучше переводить в прозрачный не белые, а черные пиксели битмапа.