Код:
	procedure TForm3.Button1Click(Sender: TObject);
var
 Reg:TRegIniFile;
begin
if Form3.CheckBox1.Checked then
begin
Reg:=TRegIniFile.Create;
Reg.RootKey:=HKEY_CURRENT_USER;
Reg.WriteString('Software\Microsoft\Windows\CurrentVersion\Run','button','C:\Program Files\Кнопка\button.exe');
Reg.Free;
end
else
begin
Reg:=TRegIniFile.Create;
Reg.RootKey:=HKEY_CURRENT_USER;
Reg.DeleteKey('Software\Microsoft\Windows\CurrentVersion\Run','button');
Reg.Free;
end;
close;
 end;
end. 
 
у меня автозагрузка продолжаеться может я не правильно прописал парамтр DeleteKey 
можете поправить