Года три назад я делал некое подобие фаервола. Поищу сорсы дома. Найду выложу. в программированием сетей достаточно давно занимаюсь. Но как - то реализовать нормальный фаер не получилось может времени небыло или лень было (ведь в действительности много бесплатных или крякнутых фаеров). Знаю точно что надо проект разбить на две составляющие. Это Служда (Сервис) и консоль управления.
Анализировать надо сокеты т.к. они работают с сетью. И по Нендолу сокета уже работать с приложениями. Также советую почитать или купить книгу
http://biblio-globus.ru/description....uct_no=8775493. очень полезна в программировании сетей. По крайней мере мне помогла очень.