[wvxvw]

Я все думаю, что можно как-то дополнить до чего-то попроще, возможно до треугольника, и уже поняв, как это сделать, "подправить" до четырехугольника.
И еще, лучше все-таки задать ограничения для четырехугольника, что он должен быть выпуклым и чтобы у него не было параллельных сторон (случай с параллельными сторонами рассматривать отдельно, т.как там бесконечно много эквивалентных решений).
Я бы наверное на какой-нибудь mathoverflow.com запостил. Задачка, как бы совсем нетривиальная. Скорее всего, у нее есть аналитическое решение, но если нет... то тогда только "методом последовательных приближений"...