Рабочее окно в стиле Виндовс с кнопками Да, Нет, Отмена

[etc]

Потому что while — это цикл, причём бесконечный по факту и Flash Player будет его выполнять до тех пор, пока не выдаст ошибку (при этом никаких действий пользователь сделать не может). За время выполнения цикла никаких других действий выполнить нельзя.
Более того, ты объявил переменную, она равна undefined. Выражение a != undefined ложно, поэтому цикл не выполняется и не происходит return.

Нужно делать иначе — показывать окно, подписываться на события окна, блокировать контент и ждать реакции пользователя. Когда он нажмёт на кнопку, будет послано событие (определённого типа, в зависимости от выбранной кнопки) и все слушатели этих событий отреагируют соответствующим образом (скрытие окна и выполнение каких-либо дальнейших действий).