[Rokuell]

Вообще-то никто за тебя решать задачу не будет, и я бы не стал, но стало самому интересно...

Найти координаты центра вписанной в треугольник окружности
с координатами вершин P1(X,Y) P2(X,Y) P3(X,Y)
можно, решив систему уравнений
(x-P1.X)^2 + (y-P1.Y)^2 = (x-P2.X)^2 + (y-P2.Y)^2
(x-P1.X)^2 + (y-P1.Y)^2 = (x-P3.X)^2 + (y-P3.Y)^2
где найденные x и y - координаты центра.
Раскрывая скобки и перемещая свободные члены вправо, а x и y с коэффициентами влево
решаем систему методом Крамера.
Первые две точки треугольника - какие-то две ближайшие вершины 4-угольника
Третья точка треугольника находиться пересечением продолжений двух противолежащих сторон 4-угольника
Но надо ещё сделать много проверок на параллельность и т.п