Так интересно отвечать на вопрос, не зная зачем это вообще такое нужно! ^_^
Могу предложить следующее. При попадании мышкиного курсора в заданную прямоугольную область, в callback-функции, адрес которой вы передавали во втором параметре SetWindowsHookEx, вытаскивайте дескриптор окна под курсором (с помощью функции WindowFromPoint). Получив дескриптор, считывайте класс окна (функция GetClassName) и сравнивайте его с классом окна Блокнота, т.е. с 'EDIT'. Если оказывается, что под курсором находится окно этого класса, то следующий шаг — определить имя исполняемого файла, которому принадлежит найденное окно. Это можно сделать
так. Ну и наконец, если имя файла совпадает с именем файла Блокнота, то тогда делайте запрет на клик.