Запускать не файл, а саму смотрелку и скармливать ей файл как параметр.
Код:
AViewer := 'WinDjvu.exe';
AFile := '"' + ExtractFilePath(Application.ExeName)+'Литература\Книги\Шестеренные насосы. Основные параметры и их расчет_Машиностроение_Москва_Юдин.djvu' + '"';
ShellExecute(0,'open',PChar(AViewer),PChar(AFile),Nil,SW_SHOW);