можно threshold'ом
только он не только то, что floodFill нашел пропустит, но и все пиксели с 0x000000FF, что может быть и не критично, если красить каким-нить экзотичным цветом
Код AS1/AS2:
myBitmapData.floodFill(mc._xmouse, mc._ymouse, 0x000000FF);
var maskBmd:BitmapData = new BitmapData(myBitmapData.width, myBitmapData.height, true, 0xFF000000);
maskBmd.threshold(myBitmapData, maskBmd.rectangle, new Point(), "!=", 0x000000FF, 0x0, 0x00FFFFFF, false);