Ну так и передавай туда сылку на панель.
точнее, тебе просто нужен обработчик панели OnClick, в котором ссылка уже и так есть. Сделай у одной панели такой обработчик, а потом просто назначь его всем панелям. А внутри преобразуй Sender к TPanel и вперед...
Код:
procedure TForm1.Panel1Click(Sender : TObject);
var
APanel : TPanel;
begin
If Sender Is TPanel Then
Begin
APanel := Sender As TPanel;
APanel.Color := clRed;
// и так далеее
End;
end;