как варианты
1 ловить изменение разрешения экрана (не очень, т.к. пользователь может сам захотеть изменить разрешение экрана)
2 ставить хук на создание и/или активацию окон
HCBT_ACTIVATE и/или HCBT_CREATEWND и проверять у пойманного окна наличие стиля
WS_MAXIMIZE - так можно отловить запуск полноэкранных приложений (в большей части которых как-раз игрушки, если им не задан режим в окне...)
3 покопать в сторону DirectX, может там есть что-то, что прольет свет