Показать сообщение отдельно
  #1  
Старый 25.07.2021, 20:24
Motorolla Motorolla вне форума
Прохожий
 
Регистрация: 06.06.2019
Сообщения: 17
Версия Delphi: Delphi 7 / XE8
Репутация: 10
По умолчанию Пересобрать двухмерный массив в массив записей

Есть большой файл (131Мб) содержащий данные 2x4 байт. Для удобства его можно представить как record длиной более 32млн записей.
Код:
TRec = record
A,B: integer;
end;
:
Замечено, что значение А последовательно (что-то вроде индекса с неопределённым инкрементом), а вот значение В может дублироваться многократно. Файл этот получаю со стороны и на его формирование влиять не могу, но хочу оптимизировать и объём и время поиска. Сейчас прямой поиск всех значений А при запрошенном В занимает 1,5 минуты.
Я планирую создать новый тип записи вида
Код:
TNewRec = packed record
B:integer;
Count:byte;
A: array of integer;
end;
Так я смогу собрать все значения A для запрашиваемого В, что даст мне уменьшение файла в несколько раз и если сразу отсортирую значения В, то сократится и время поиска.
Другого метода в голову пока не приходит. Но к сожалению и с этим-то я пока не могу разобраться. Получается, если на 1 проход для поиска всех совпадений затрачено 1,5 минуты, то по сути положение основного курсора (место очередного значения В) в потоке будет смещаться слишком медленно. На калькуляторе это выдало более 25млн минут и экспонента времени ближе к концу тут не особо поможет.
Как же мне преобразовать этот файл? Вернее задача даже заключается в том как уменьшить исходный файл и сократить в нём время поиска?
Ответить с цитированием