Вставляй все во временную таблицу без проверок. А потом просто перенеси в основную только уникальные записи.
А далее варианты:
1. Если у тебя приходят дубликаты в xml (т.е. в БД записей, которые пришли в xml в принципе нет), то копируешь только уникальные (типа insert into table select distinct * from temp_table, реальный синтаксис надо смотреть по СУБД).
2. Если надо проверять супротив записей в БД, то тогда вставляешь минус (типа insert into table (select * from temp_table minus/except select * from table), minus/except - это в зависимости от того как это в БД называется, можно переписать через exists).
Такой алгоритм будет гораздо быстрее, чем проверять каждую зпись, особенно, если дубликатов не очень много.
Тоже самое, для первого случая, можно сделать в памяти, например, создаешь Map, для каждой записи считаешь хеш и добавляешь эти записи в Map. В результате в Map'е у тебя уникальные записи, которые и добавляешь в БД. Если у тебя смешанный случай, то это уже бессмысленно, так что действуешь по второму варианту.
|