Необходимо проводить проверку непосредственно при нажатии клавиши.
Функция StrToFloat по умолчанию считает разделителем точку(хм, то что она считает по умолчанию вообще-то зависит от региональных настроек), поэтому надо либо при вводе запятую заменять на точку (как это сделано в приведённом ниже коде), либо собственноручно определять, какой символ использовать в качестве разделителя в десятичых дробях(обычно так и делается для пущей безопасности).
Также стоит сделать проверку, когда вводит пользователь не цифру или не знак разделителя - при этом просто не помещать этот символ в поле ( для этого надо прировнять Key:=#0 )
Необходимо разрешить и некоторые спец. символы - Backspace( #8 ) и Delete ( #46 )
Код:
procedure TForm1.Edit1KeyPress(Sender: TObject; var Key: Char);
begin
if Key = ',' then Key := '.'
else
if not ( Key in [ '0'..'9' , '.' , #8 , #46 ] ) then Key := #0;
end;