При быстром проходе мыши ролловеры и роллауты не сработают.
Уверенно этот вопрос решается только в AS3.

Очень может быть.
Но вот у меня не получается выйти за границы так, чтобы флешка это "упустила".

К сожалению, у меня плееры везде 10-ка.
Проверьте на младших версиях и на флешке, опубликованной на странице. Помнится, что такое решение "в лоб" при быстром проходе не работало.
А автору, если он будет использовать это решение, стоит добавить обработчик и на событие onDragOut, то есть
Тогда и при зажатой мыши также отработается функция ее "увода".
Я, например, всегда использую onRollOut только вкупе с onDragOut.

Я использовал элементарную проверку на координаты в стиле
Всё это дело в onEnterFrame. Конечно, на выходе получаем дикую кучу лишних проверок, однако для маленьких проектов это не кажется критичным.
Кстати, при зажатой мыши тоже отрабатывает.

Этого кода достаточно, чтобы убедиться, что Ваш вариант не идеален. Особенно при быстром движении мыши.

Уже обсуждалась тема - в Ас1 корректная обработка выхода за границы не получиться. Есть варианты, но не один из них не является идеальным.
В частности, в приведенном примере - нажмите левую кнопку мышки и...