Ну, тут скорее задача аналитическая, а не графическая.
Кстати, какой четырехугольник-то можно? Любой? А что значит "вложен"? Просто находтся внутри?
Тогда первым делом пытаемся найти такие 4 точки, при построении четырехугольника на которых внутри его окажется максимальное кол-во точек.
Потом тоже самое делаем для окружности, проверяя, что все ее точки находятся внутри этого четырехугольника и внутри нее как минимум 3 точки.
Ну и последнее - строим по точкам внутри окружности любой треугольник.
Ну а по найденным точкам нарисовать картинку - это уже плевое дело. только не забудь, что (0,0) находится в левом верхнем углу
