Ещё в прошлом году пришла идея - если у вашего четырёхугольника не пересекаются противоположные стороны, можно взять и нарисовать два прямоугольника используя противоположные вершины вашего четырёхугольника. В результате пересечения этих двух прямоугольников у нас будет третий прямоугольник который всегда будет внутри вашего четырёхугольника, в него уже надо пытаться вписать ваш исходный прямоугольник.
Есть конечно неприятный момент (очень), когда ширина(высота) этого конечного прямоугольника будет очень маленькой(равна нулю) (это когда х или у противоположных вершин четырёхугольника будут ~ равны), тогда вам придётся увеличивать четырёхугольник до огромных размеров (бесконечности) чтобы получилось вписать ваш прямоугольник.
В общем получить конечный прямоугольник в который нужно вписывать ваш, у меня получилось, а уже увеличивать всю эту конструкцию - уже праздник был на носу, может как-нибудь вечерком закончу. Кое-где вычисляю лишнее, но в общем как-то так
Тыкаете 4 раза туда где должны быть вершины, на пятый клик всё отрисуется.