>>Почему система координат изменяется только для rotationX и только при изменении rotationY?
связка только rotationX - только при изменении rotationY - это скорее всего твой частный случай: система координат по-любому вращается вместе с объектом, со всеми вытекающими.., присмотрись поплотнее - нет никакой исключительности в rotationX-rotationY
>>Как вышеописанную ф-ю применить для поворота куба?
применить те же самые манипуляции к transform.matrix3D этого куба
мой пример 'от первого лица', т.е. как бы метод самого куба
глянь
http://silin.su/#AS3/zod , там есть примеров всякого вращения