Вот это
Код:
Button:=TButton.Create(Self);
и так удалит все кнопки.
Если при создании компонента ему задается Owner
Код:
Create(AOwner: TComponent)
То он попадет Владельцу в список Components и при уничтожении владельца, будет уничтожен.
Также как Application уничтожает формы.