[kasper_chib]

Привет всем! Кто может подскажите! Проблема следующая:
Есть два файла dbf каждый примерно около 100 000 записей.
Записи перегоняю в StringList, для каждого dbf свой StringList.
Дальше сравниваю StringList-ы и по неким условиям пишу результат в другие StringList-ы. Работает очень медленно, примерно 2 500 записей обрабатываются 10 минут. Тормозит на этом цикле:

Код:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

// функция из dbf пишет в StringList   StrListSprEgkNew := WriteDbfInStringList(dirFileSprNew);   dirFileSprOld := FindDirForFileSpr(False);   StrListSprEgkOld := TStringList.Create;   // функция из dbf пишет в StringList   StrListSprEgkOld := WriteDbfInStringList(dirFileSprOld);   StrListSprEgkRez := TStringList.Create;   StrListSprEgkRezInvalid := TStringList.Create;   for iStrListSprEgkNew := 0 to StrListSprEgkNew.Count - 1 do   begin     markRez := 1; // метка писать в результирующий1 StringList     markRezInvalid := 0;// метка писать в результирующий2 StringList     codeEgkNew := strWord(StrListSprEgkNew[iStrListSprEgkNew],2,#9); // функция StrWord(s,n,a) из строки s вырезает позицию n разделителя a     invalidNew :=    StrToInt(strWord(StrListSprEgkNew[iStrListSprEgkNew],4,#9));     for iStrListSprEgkOld := 0 to StrListSprEgkOld.Count - 1 do     begin       invalidOld := StrToInt(strWord(StrListSprEgkOld[iStrListSprEgkOld],4,#9));       codeEgkOld := strWord(StrListSprEgkOld[iStrListSprEgkOld],2,#9);       if codeEgkNew = codeEgkOld then       begin         markRez := 0;         if (invalidOld = 1) and (invalidNew = 0) then         begin           markRez := 1;         end;         if (invalidOld = 0) and (invalidNew = 1) then         begin           markRezInvalid := 1;         end;       end;     end;     if (markRez = 1) and (invalidNew = 0) then     begin       StrListSprEgkRez.Add(StrListSprEgkNew[iStrListSprEgkNew]);     end;     if markRezInvalid = 1 then     begin       StrListSprEgkRezInvalid.Add(StrListSprEgkNew[iStrListSprEgkNew]);     end;     Logger.Add(IntToStr(iStrListSprEgkNew));   end;

Админ: Пользуемся тегами для оформления кода!

подскажите как можно оптимизировать процесс?

[M.A.D.M.A.N.]

Можно через ADO сделать выборку сразу из двух dbf`ок без всяких перегонов и т.д.

[kasper_chib]

Сделал через ADO вернее через TDbf получилось ещё медленнее, За 10 минут обработалось 279 записей.

[Uniq!]

Тайм код говорит о том, что оптимизация нужна здесь: (68% времени на эту операцию уходит):

Код:

1 2 3 4 5 6 7 8 9

markRez := 0;         if (invalidOld = 1) and (invalidNew = 0) then         begin           markRez := 1;         end;         if (invalidOld = 0) and (invalidNew = 1) then         begin           markRezInvalid := 1;         end;

Нужно заменить ваш блок на этот:

Код:

1 2	markRez := InvalidOld AND not invalidNew; markRezInvalid := invalidNew AND not invalidOld;

Только они(markRez, markRezInvalid) тогда должны быть не 0 и 1 (int) а true и false (bool)
Я сомневаюсь, что Not нужен. На живом примере, через Debug нужно проверить значения переменных.



B уничтожить к чертям сдвоенные if'ы

[Mrak]

я так понимаю, вы берете запись из первого грида и сравниваете со всеми во втором...
это 100000*100000 = 10000000000

какое тз?

[kasper_chib]

Для Mrak

Все правильно беру первый и сравниваю со вторым.
Задание
Нужно сравнивать два файла с справочником, сегодняшний и вчерашний.
Найти
1. новые записи с полем invalid = 0
2. Старые записи где поле invalid было 1 стало 0
записать то что нашёл в *.txt
3. найти старые записи, где поле invalid было 0 стало 1
записать в другой *.txt

[Mrak]

Сообщение от M.A.D.M.A.N.

Можно через ADO сделать выборку сразу из двух dbf`ок без всяких перегонов и т.д.

используй механизм ADO

гугли ADO + DBF