Почему, все правильно. Т. к. маска наложена на картинку, она не будет вначале видна, но при движении мышки над ней она будет как бы вырисовываться. Если еще вниз положить картинку с карандашным рисунком - как раз и получается эффект раскрашивания.
Ошибка была в другом, в строке

Код:
_l2.attachMovie("brush", "brush"+_l4+"_mc", _l2.getNextHighestDepth()+_l4, {_x:this._xmouse, _y:this._ymouse});
_l4++;
надо было заменить this._xmouse и this._ymouse на _root.xmouse и _root.ymouse соответственно.
Всем спасибо, итоговый получившийся код:

Код:
var myMask:MovieClip = _root.createEmptyMovieClip("mask_mc", _root.getNextHighestDepth());
myMask.attachMovie("brush", "brush_mc", myMask.getNextHighestDepth(), {_x: -100, _y: -100});
_root.back.onMouseMove = function() {
myMask.attachMovie("brush", "brush_mc", myMask.getNextHighestDepth(), {_x: _root._xmouse, _y: _root._ymouse});
}
_root.back.setMask(myMask);
Mouse.hide();
_root.brush2.onMouseMove = function() {
this._x = _root._xmouse;
this._y = _root._ymouse;
}