[FreeUser]

Привет ребят, работаю все с тем же. Лопатим документы.
И так, у меня такая проблема. Медленно работает программа. Ужасно.
Цель - произвести замены (штук 10) в txt файле. Файл большой и делает она это о-ч-ч-ч-ч-ень медленно. Замена идет через функцию. Т.е. по нажатию кнопки срабатывает opendialog и грузит файл в richedit. Потом вызывается Функция(ричэдит,что заменить,чем). И это все очень долго. Помогите пожалуйста средствами делфи скорость обработки поднять. Ворд быстрее лопатит, но я не хочу его подключать.
Заранее благодарен.

[M.A.D.M.A.N.]

Можеш сделать чтение файла по частям (массивом по несколько килобайт).

[ApplicatiOn]

Сообщение от FreeUser

Привет ребят, работаю все с тем же. Лопатим документы.
И так, у меня такая проблема. Медленно работает программа. Ужасно.
Цель - произвести замены (штук 10) в txt файле. Файл большой и делает она это о-ч-ч-ч-ч-ень медленно. Замена идет через функцию. Т.е. по нажатию кнопки срабатывает opendialog и грузит файл в richedit. Потом вызывается Функция(ричэдит,что заменить,чем). И это все очень долго. Помогите пожалуйста средствами делфи скорость обработки поднять. Ворд быстрее лопатит, но я не хочу его подключать.
Заранее благодарен.

OpenDialog не открывает файл а получает к нему путь. Ищи проблему в самой функции.. Если можешь давай её сюда, посмотрим что там..

[FreeUser]

В функции все нормально, просто масок на замену 10, а таких замен 60 000. Ворд обрабатывает за 10-15 минут. Я думал, может многопоточность можно как-нибудь прикрутить.

[ApplicatiOn]

да, многопоточность должна помочь..

[lmikle]

Многопоточность тут не поможет, т.к. задача не делится на независимые части. Как можно убыстрить.
1. Отказаться от TRichEdit и пользоваться TStringList. Т.О. у тебя не будет отрисовки и работы с RTF (если файл явно текстовый).
2. Менять алгоритм замены. Для начала попробовать функцию ReplaceString. Если будет все еще медленно, то писать свою функцию.

[FreeUser]

В общем, видимо придется мне отказываться от замены..Хотя я не знаю что такое TStringList, но txt видимо слишком большой. 2 400 000 символов, надо пройти этот список 570 раз..В итоге с моим алгоритмом программа должна обработать 1 млрд 368 млн символов. Вот работает уже 1.5 часа на моем селероне 128кб кеш L2 и только 24%. Кто-нибудь подскажет алгоритм замены, если не кодом, то словами? Заранее всем спасибо.

[BlackCash]

Не понял точно что надо... но вот пример для замены в текстовом файле... После того как заменит сохраняет результат в туже директорию с темже именем+'.replaced' надеюсь поможет...

[FreeUser]

Ну надо то, что делает твоя программа. Я так понял, это и есть тот самый метод TStringList. Но он еще медленнее моего. У меня там еще и количество замен до 610 выросло. 6 часов заменялся список. Ребят, подскажите еще что-нибудь пожалуйста.

[BlackCash]

Ну если медленно то держи вот такой пример, если и он будет медленный то я уж незнаю...

[vinni]

Если текст имеет определенный формат, можно попробовать запихать его, например, в DBF-файл или таблицу Acсess, а поиск/замену делать с помощью SQL.

[FreeUser]

Текст обычный, txt формат. BlackCash, увы. 5 часов вместо моих 6 это конечно вариант, но не очень..Кто может еще помочь? Админы, подскажите идею, как реализовать такое? Пожалууууйста

[Yurk@]

А замены какого рода ты делаешь ???

P.S. У меня в текстовом файле около 5 млн. символов ... для пробы я вбил для поиска строку из 4 слов и заменил на 3 слова ... так вот данная операция по всему этому файлу заняла 2 секунды!!!
Так что я думяю если замен будет 500 то ты вполне вложишься в 10 минут.

[Aristarh Dark]

FreeUser, показывай свой код, если можно то неплохо было бы иметь еще и файл в котором заменяются строки - для примера.

[FreeUser]

Замена..Ну да..Я извращенец..Ну что теперь поделаешь?!

Код:

function Search_And_Replace(RichEdit1: TRichEdit; SearchText, ReplaceText: string): Boolean;
var
startpos, Position, endpos: integer;
  begin
    startpos := 0;
with RichEdit1 do
  begin
   endpos := Length(RichEdit1.Text);
  Lines.BeginUpdate;
   while FindText(SearchText, startpos, endpos, [stMatchCase])<>-1 do
  begin
     endpos   := Length(RichEdit1.Text) - startpos;
     Position := FindText(SearchText, startpos, endpos, [stMatchCase]);
     Inc(startpos, Length(SearchText));
     SetFocus;
     SelStart  := Position;
     SelLength := Length(SearchText);
     richedit1.clearselection;
     SelText := ReplaceText;
  end;
Lines.EndUpdate;
  end;
  end;

Вызываем функцию

Код:

Search_And_Replace(Richedit1,что,чем);

и таких вот строчек у меня...уже более 610. И это уже не мой тупизм. Дело тут в том, что при проходе по тексту (который очень похож на ошибки при сканировании, но увы, является совсем другим, т.к. образец приложен, чтобы понять задачу, но исходный файл имеет гораздо больше ошибок, и получен ввиду человеческой ошибки ),

Так вот, при замене списка столько проходов по нему надо чтобы полностью были произведены все замены.
Т.е. в списке скажем есть "ТАКОЙ, ВОТ, ТЕКСТ. .,. . . .,, ... ," И просто заменяя ".." на "." мы рано или поздно опять получем путем сокращения этих ".." в конце еще ".." и по ".." придется искать еще раз. А таких как ".." масок у меня 400. Жесть в общем.