Вам нужно в слушателях проверять, что нажата или отпущена именно та кнопка, которая Вам нужна.
В слушателе узнайте нужный keyCode при помощи trace, типа

Код AS3:
trace( event.keyCode );
А за тем на него и проверяйте -

Код AS3:
if( event.keyCode == 45/*код нужной Вам кнопки*/){...}