Форум по Delphi программированию

Delphi Sources



Вернуться   Форум по Delphi программированию > Все о Delphi > Разное
Ник
Пароль
Регистрация <<         Правила форума         >> FAQ Пользователи Календарь Поиск Сообщения за сегодня Все разделы прочитаны

Ответ
 
Опции темы Поиск в этой теме Опции просмотра
  #1  
Старый 23.12.2021, 02:36
pro100kos pro100kos вне форума
Прохожий
 
Регистрация: 23.12.2021
Сообщения: 3
Версия Delphi: Delphi 11
Репутация: 10
Печаль Перебор данных из бд в несколько потоков

Пытаюсь перебирать так ничего не выходит скорость никак не меняется. Подскажите пожалуйста в чем может быть причина

Код:
......
type
  TMyThread = class(TThread)
  private
  protected
    procedure Execute; override;
    procedure memoAdd;
  public
    msg:string;
    N:integer;
  end;
 
.......
  private
    MyT:array of TMyThread;
  public
     o:integer;
     CounArray:integer;
  end;
.........
 
procedure TMyThread.Execute;
var //nw :string;
    b,A:integer;
begin
dm.AdUpdatePOsitions.ExecSQL;
b:= N  * form5.CounArray; //Присваеваем единицу
A :=  b - form5.CounArray;
 
  while A <> b do
  begin
    inc(A);   
    msg:= inttostr(A) + ' Поток номер '+ inttostr(N) +' запущен! '+inttostr(Form5.o)+' '+dm.AdUpdatePOsitions.FieldByName('Words').AsString;
    Synchronize(memoAdd);
    dm.AdUpdatePOsitions.Next;
  end;
end;
 
procedure TMyThread.memoAdd;
begin
  Form5.Memo1.Lines.Add(msg);
end;
 
procedure TForm5.BitBtn1Click(Sender: TObject);
var i,nn:integer;
begin
  dm.AdUpdatePOsitions.SQL.Clear;
  dm.AdUpdatePOsitions.SQL.Add('SELECT * FROM Position');
  dm.AdUpdatePOsitions.Active:=True;
  dm.AdUpdatePOsitions.first;
 
  nn := dm.AdUpdatePOsitions.RecordCount; //подсчет количества данных в массиве
  CounArray :=  Trunc ( nn /  SpinEdit1.value );   //округлим в меньшую сторону
 
 
//создание потоков
  for i := 1 to SpinEdit1.value do begin
    SetLength(MyT,i+1);
    MyT[i]:=TMyThread.Create(True);
    MyT[i].Priority:= tpLowest;
    MyT[i].N:=i;
    MyT[i].FreeOnTerminate:=True; 
    MyT[i].Start;
  end;
end;
Ответить с цитированием
  #2  
Старый 24.12.2021, 20:47
Аватар для Guaho
Guaho Guaho вне форума
Начинающий
 
Регистрация: 27.08.2017
Сообщения: 179
Версия Delphi: Delphi7
Репутация: 10
По умолчанию

Если потоков много, а датасет один, то будет ли быстрее?
По идее надо создать несколько датасетов, по числу потоков, чтоб каждый поток работал только со "своим" датасетом.
Ответить с цитированием
  #3  
Старый 27.12.2021, 23:41
lmikle lmikle вне форума
Модератор
 
Регистрация: 17.04.2008
Сообщения: 8,057
Версия Delphi: 7, XE3, 10.2
Репутация: 49089
По умолчанию

Guaho, в общем правильно, но можно сделать и с одним источником, просто использовать его как очередь заданий. Имеет смысл если только обработка одной записи занимает некоторое время, иначе все потоки будут "толпиться" на доступе к этому компоненту.
Что бы такое сделать, надо использоывть объекты синхронизации для блокировки доступа к ДатаСету, т.к. каждый поток при получении данных сначала блокирукт CriticalSection, потом делает ДатаСету Next, читает данные из записи, снимает блокировку и уже потом начинает обрабатывать данные внутри себя.
Ответить с цитированием
  #4  
Старый 06.01.2022, 15:17
pro100kos pro100kos вне форума
Прохожий
 
Регистрация: 23.12.2021
Сообщения: 3
Версия Delphi: Delphi 11
Репутация: 10
По умолчанию

Обработка данных будет занимать около 5 секунд в одном потоке, потом будет переход на следующую строку в БД. Что можете порекомендовать в этом случае?
Ответить с цитированием
  #5  
Старый 07.01.2022, 02:53
Аватар для Kailon
Kailon Kailon вне форума
Активный
 
Регистрация: 06.06.2010
Сообщения: 340
Версия Delphi: 11.3
Репутация: 429
Сообщение

Хотелось бы уточнить, а как именно Вы обрабатываете запись? В запросе Вы выбираете все поля, но если их много и не все требуются, то может имеет смысл выбрать только нужные. А ещё я бы порекомендовал в циклах не использовать FieldByName, а обращаться к полю по его индексу через Fields[]. Про это даже в справке написано.
__________________
Всегда пишите код так, будто сопровождать его будет склонный к насилию психопат, который знает, где вы живете.
Ответить с цитированием
  #6  
Старый 07.01.2022, 14:38
Аватар для Guaho
Guaho Guaho вне форума
Начинающий
 
Регистрация: 27.08.2017
Сообщения: 179
Версия Delphi: Delphi7
Репутация: 10
По умолчанию

Цитата:
Сообщение от pro100kos
Обработка данных будет занимать около 5 секунд...
Как-то многовато! Не знаю, что там делается, но может имеет смысл попытаться написать код так, что эту "обработку" ускорить? Кроме того, если уж делать с потоками, тогда надо проверять, чтоб разные потоки не обрабатывали одну и ту же запись одновременно (возможно, проверять свойство State). Ну и сделать число датасетов по числу потоков - как по мне, самое простое решение.
Ответить с цитированием
  #7  
Старый 17.01.2022, 18:13
OnlyTheProg OnlyTheProg вне форума
Прохожий
 
Регистрация: 17.01.2022
Сообщения: 1
Версия Delphi: VS
Репутация: 10
По умолчанию

Цитата:
Сообщение от Guaho
Как-то многовато! Не знаю, что там делается, но может имеет смысл попытаться написать код так, что эту "обработку" ускорить? Кроме того, если уж делать с потоками, тогда надо проверять, чтоб разные потоки не обрабатывали одну и ту же запись одновременно (возможно, проверять свойство State). Ну и сделать число датасетов по числу потоков - как по мне, самое простое решение.
А есть ещё какие-нибудь варианты?
Crypto-checker https://chrome.google.com/webstore/detail/crypto-checker/bahhmhhmnedfhndhdagobnknhcflhhkp?hl=ru - расширение для начинающих трейдеров, которое может помочь им в выборе криптовалютной биржи, обойти стороной мошенников и проводить криптоарбитраж безопасно

Последний раз редактировалось OnlyTheProg, 17.01.2022 в 18:26.
Ответить с цитированием
  #8  
Старый 19.01.2022, 00:42
pro100kos pro100kos вне форума
Прохожий
 
Регистрация: 23.12.2021
Сообщения: 3
Версия Delphi: Delphi 11
Репутация: 10
По умолчанию

В общем в потоке все перебирает отлично, но вот делаю запись в бд Access через синхронизацию
использую вот эту функцию RecordPositions. Создается большая очередь и программа работает не очень быстро из-за этого как можно произвести запись прямо в потоке? (например без синхронизации)
Код:
function RecordPositions(a,b,c:integer; d,e,r,t:string):string;
begin
      dm.AdQ_Pos1.Active:=true;
      dm.AdQ_Pos1.Append;
      dm.AdQ_Pos1.FieldByName('t').AsString := t;
      dm.AdQ_Pos1.FieldByName('b').AsInteger := b; 
      dm.AdQ_Pos1.FieldByName('c').AsInteger := c; 
      dm.AdQ_Pos1.FieldByName('d').AsString := d;
      dm.AdQ_Pos1.FieldByName('e').AsString := e; 
      dm.AdQ_Pos1.FieldByName('r').AsString := r; 
      dm.AdQ_Pos1.FieldByName('a').AsInteger := a; 
      dm.AdQ_Pos1.POST;
      dm.AdQ_Pos1.Active:=false;
      Exit;
end;
Ответить с цитированием
Ответ


Delphi Sources

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать темы
Вы не можете отвечать на сообщения
Вы не можете прикреплять файлы
Вы не можете редактировать сообщения

BB-коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Быстрый переход


Часовой пояс GMT +3, время: 10:46.


 

Сайт

Форум

FAQ

RSS лента

Прочее

 

Copyright © Форум "Delphi Sources" by BrokenByte Software, 2004-2023

ВКонтакте   Facebook   Twitter