Нашел проблему, но не знаю как сделать все красиво...
В примере я не зря поставил строчку

Код AS3:
obj.rotationY += 5;
Обычная растеризация мувиков мне не подойдет, так как в проекте я балуюсь с програмной анимацией и перспективой.
Короче говоря, пока у объекта null-евая Matrix3d, все работает нормально, но как только вступает в силу ось Z, сразу же вылазит на ружу тот результат, который я показал в примере.
Мое решение: Вместо применения матрицы трансформации к миру нужно самостоятельно изменять все объекты мира (попробовал - работает). А чтобы не баловаться с каждым объектом я запихнул мир в контейнер-обертку и провожу манипуляции над целим миром, а снимки делаю не мира, а обертки с миром.
Если у кого есть решение получше, буду очень благодарен!
Добавлено через 1 минуту
Опоздал с постом... Но как я и писал - без Z-трансформации дело не пойдет