[major]

Для решения задачи необходимо знать координаты одного из углов прямоугольника (или его центра). Задачка чисто математическая на тригонометрию. К флешу отношения не имеет. Учебник почитайте.
Если фигура более сложная, то ее можно разбить на треугольники и решать задачу для каждого треугольника.