В том, что Application приложения и Application DLL - суть разные объекты.
попробуй так:
DLL:
Код:
procedure showxtj(AHandle : THandle);
begin
Application.Handle := AHandle;
xtjshow:=xtjshow.Create(Application);
xtjshow.ShowModal;
xtjshow.Free;
end;
Основной:
Код:
showxtj(Application.Handle);