Форум по Delphi программированию

Delphi Sources



Вернуться   Форум по Delphi программированию > Все о Delphi > [ "Начинающим" ]
Ник
Пароль
Регистрация <<         Правила форума         >> FAQ Пользователи Календарь Поиск Сообщения за сегодня Все разделы прочитаны

 
 
Опции темы Поиск в этой теме Опции просмотра
  #1  
Старый 24.07.2015, 11:53
Аватар для Uniq!
Uniq! Uniq! вне форума
Местный
 
Регистрация: 29.09.2010
Сообщения: 539
Версия Delphi: Delphi XE3
Репутация: 374
По умолчанию Ускорение работы импорта XML в БД (mySQL)

Добрый день. Помогите найти правильный алгоритм действий.

Задача состоит в следующем:
у меня XML файл, в котором есть записи, и проблема в том, что некоторые из них повторяются, а в БД они должны попадать "Уникальными" (Записей много.)

Решаю так:

1) Создаётся ADODataSET с параметрами, которые должны быть уникальными и запросом вроде
Код:
"Select * from `some_table` where param1=:param1 and param2=:param2"
--- ну пусть будет Param1 и Param2
(Записей вроде
Код:
ID Param1 Param2 
321 STR1   Int1
322 STR1   Int1
не должно быть)

2) Далее в цикле от первой к последней записи в XML я передаю считанные параметры из XML в ADODataSet и выполняю его
3) Далее проверяю
Код:
if ADODataSet.IsEmpty then
4) Вставляю запись:
Код:
ADODataSet.InsertRecord([nil, param1, param2]);

~ 60 000 запросов. Базу носилую.

С учётом того, что записей около 60 тысяч в одном XML файле, времени этот процесс занимает в районе часа.
Если учесть тот факт, что XML разбирается ночью раз в сутки, то можно и не обращать внимания,
но всё равно чувствует неправильный подход к решению задачи. И это не даёт мне спокойно спать.

Последний раз редактировалось Uniq!, 24.07.2015 в 11:55.
Ответить с цитированием
 


Delphi Sources

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать темы
Вы не можете отвечать на сообщения
Вы не можете прикреплять файлы
Вы не можете редактировать сообщения

BB-коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Быстрый переход


Часовой пояс GMT +3, время: 08:08.


 

Сайт

Форум

FAQ

Соглашения

Прочее

 

Copyright © Форум "Delphi Sources" by BrokenByte Software, 2004-2025