Определиться с треугольником в системе координат можно так.
Зная только точки вершин, мы достраиваем прямоугольные треугольники гипотенузами к сторонам нашего треугольника и по проекциям на оси координат узнаем все их катеты. Теперь мы можем узнать углы ACN и BCM, а угол С треугольника будет (90-ACN-BCM). Теперь решаем скругление, как в посте выше, и узнаем длину CD. Угол MCD нам тоже известен, и значит мы можем узнать длину DF, а значит и Х-координату D: (Cx - DF). Аналогично с Y-координатой D (Cy - ED). Так мы нашли точку D. Точно так же можно найти и центр скругления.