Добрый день. Помогите найти правильный алгоритм действий.
Задача состоит в следующем:
у меня XML файл, в котором есть записи, и проблема в том, что некоторые из них повторяются, а в БД они должны попадать "Уникальными" (Записей много.)
Решаю так:
1) Создаётся ADODataSET с параметрами, которые должны быть уникальными и запросом вроде
Код:
"Select * from `some_table` where param1=:param1 and param2=:param2"
--- ну пусть будет Param1 и Param2
(Записей вроде
Код:
ID Param1 Param2
321 STR1 Int1
322 STR1 Int1
не должно быть)
2) Далее в цикле от первой к последней записи в XML я передаю считанные параметры из XML в ADODataSet и выполняю его
3) Далее проверяю
Код:
if ADODataSet.IsEmpty then
4) Вставляю запись:
Код:
ADODataSet.InsertRecord([nil, param1, param2]);
~ 60 000 запросов. Базу носилую.
С учётом того, что записей около 60 тысяч в одном XML файле, времени этот процесс занимает в районе часа.
Если учесть тот факт, что XML разбирается ночью раз в сутки, то можно и не обращать внимания,
но всё равно чувствует неправильный подход к решению задачи. И это не даёт мне спокойно спать.