Можно поставить флаг, который будет определять, нажималась кнопка уже или нет. Что-то типа того:

Код:
but2._xscale=0;
but1.pressed=false;
but1.onMouseDown=function():Void {
if(this.hitTest(_root._xmouse,_root._ymouse)&&!this.pressed){
this.pressed=true;
this._parent.but2._xscale=100;
trace("but1");
this._xscale=0;}
}
but2.onMouseDown=function():Void {
if(this.hitTest(_root._xmouse,_root._ymouse)){
this._parent.but1.pressed=false;
this._parent.but1._xscale=100;
trace("but2");
this._xscale=0;}
}