Filestream per leggere un file

[frandell]

Grazie ancora per i validi suggerimenti, Stilgar.

Il codice è diventato questo:

Codice: [Seleziona]

procedure TGUI_Parser.ManeggiaLog(const txt: String);
var 
Reader : TFileStream;
myStringa, myOre, myMinuti, mySecondi, mySubStr: Ansistring;
c : char;
m, Index: integer;
FlagCapt, FlagNew, FlagReal, FlagAlr: boolean;
begin
  Visualizzatore.Append('Leggo Log File: '+txt);
  StringaCapt_o :='';
  StringaId_o :='';
  RealTime_o := '0';
  CpuTime_o := '0';
  FlagCapt := False;
  FlagNew := False;
  FlagReal := False; 
  k:=0;
  SetLength(StringaVett,3500000);
  Index := 0;
  try
    Reader := TFileStream.Create(txt,fmOpenRead);
    FlagCapt := False;
    FlagAlr := False;
    StringaCapt_o:=MyDeclare.StringaCapt;
    StringaId_o:=MyDeclare.StringaId;
    RealTime_o:=MyDeclare.RealTime;
    CpuTime_o:=MyDeclare.CpuTime;
    myStringa := '';
    while Index < Reader.Size do
     begin
      Reader.read(c,sizeof(c));
      if (C <> #13) or (C <> #10) then
       begin
        myStringa := myStringa + C;    
        ...
       end;
     myStringa := '';
     Index := Index + Sizeof(c);
     Reader.Seek(Index,soFromBeginning);
    end;
  finally
    Reader.Free;
  end;
  If Index mod 2000 = 0 then
   Application.ProcessMessages; 
end;

Purtroppo è ancora un po' troppo lento...

[Stilgar]

Codice: [Seleziona]

procedure TGUI_Parser.ManeggiaLog(const txt: String);
var 
Reader : TFileStream;
myStringa, myOre, myMinuti, mySecondi, mySubStr: Ansistring;
c : char;
m, Index: integer;
FlagCapt, FlagNew, FlagReal, FlagAlr: boolean;
begin
  Visualizzatore.Append('Leggo Log File: '+txt);
  StringaCapt_o :='';
  StringaId_o :='';
  RealTime_o := '0';
  CpuTime_o := '0';
  FlagCapt := False;
  FlagNew := False;
  FlagReal := False; 
  k:=0;
  SetLength(StringaVett,3500000);
  Index := 0;
  try
    Reader := TFileStream.Create(txt,fmOpenRead);
    FlagCapt := False;
    FlagAlr := False;
    StringaCapt_o:=MyDeclare.StringaCapt;
    StringaId_o:=MyDeclare.StringaId;
    RealTime_o:=MyDeclare.RealTime;
    CpuTime_o:=MyDeclare.CpuTime;
    myStringa := '';
    while Index < Reader.Size do
     begin
      Reader.read(c,sizeof(c));
      if (C <> #13) or (C <> #10) then
       begin
        myStringa := myStringa + C;    
        ...
       end;
     myStringa := '';
     Index := Index + Sizeof(c);
    //     Reader.Seek(Index,soFromBeginning);  inutile se non dannoso ... sei già alla posizione index dall'inizio dello stream.
  If Index mod 2000 = 0 then
   Application.ProcessMessages; 
    end;
  finally
    Reader.Free;
  end;
end;

Prova a vedere ...

[frandell]

Grazie ancora, ma dopo aver fatto la prova ho visto che i tempi sono sempre gli stessi...
Francesco

[Stilgar]

Inizia a prendere i tempi.
Lettura e parsing.

Stilgar

[frandell]

In realtà io leggo e parserizzo una stringa per volta appena acquisita...

[Stilgar]

Appunto, prendi i tempi di quanto ci metti a leggere e a fare il parsing per riga..

[Stilgar]

Codice: [Seleziona]

interface
function currentTimeMillis: int64;

implementation
type
  TOS = record
    javaTimeMillis: function: int64;
    javaTimeNanos: function: int64;
  end;

var
  OS: TOS;

{$IFDEF WINDOWS}

function jlong_from(h, l: word): int64;
var
  R: Int64Rec;
begin
  R.Lo := l;
  R.Hi := h;
  Result := int64(r);
end;

function offset(): int64;
var
  java_origin: SYSTEMTIME;
  jot: FILETIME;
begin
  java_origin.wYear := 1970;
  java_origin.wMonth := 1;
  java_origin.wDayOfWeek := 0; // ignored
  java_origin.wDay := 1;
  java_origin.wHour := 0;
  java_origin.wMinute := 0;
  java_origin.wSecond := 0;
  java_origin.wMilliseconds := 0;
  FillChar(jot, SizeOF(jot), 0);
  SystemTimeToFileTime(java_origin, jot);
  Result := jlong_from(jot.dwHighDateTime, jot.dwLowDateTime);
end;

function windows_to_java_time(wt: TFILETIME): int64;
begin
  Result := jlong_from(wt.dwHighDateTime, wt.dwLowDateTime);
  Result := (Result - offset()) div 10000;
end;

function javaTimeMillis_md: int64;
var
  wt: TFILETIME;
begin
  GetSystemTimeAsFileTime(wt);
  Result := windows_to_java_time(wt);
end;

const
  NANOS_PER_SEC = 1000000000;
  NANOS_PER_MILLISEC = 1000000;

var
  has_performance_count: int = 0;
  first_filetime: int64;
  initial_performance_count: int64;
  performance_frequency: int64;

function javaTimeNanos_md(): int64;
var
  current_count: TLargeInteger;
  current: double;
  freq: double;
begin
  Result := 0;
  current_count := 0;
  QueryPerformanceCounter(current_count);
  current := current_count;
  freq := performance_frequency;
  Result := Trunc((current / freq) * NANOS_PER_SEC);
end;

procedure initialize_performance_counter();
var
  Count: TLargeInteger;
  wt: TFILETIME;
begin
  if (QueryPerformanceFrequency(Count)) then
  begin
    has_performance_count := 1;
    performance_frequency := Count;
    QueryPerformanceCounter(Count);
    initial_performance_count := Count;
  end
  else
  begin
    has_performance_count := 0;
    GetSystemTimeAsFileTime(wt);
    first_filetime := jlong_from(wt.dwHighDateTime, wt.dwLowDateTime);
  end;
end;

{$ENDIF}
function currentTimeMillis: int64;
begin
  Result := OS.javaTimeMillis();
end;

initialization
  initialize_performance_counter;
  os.javaTimeMillis := @javaTimeMillis_md;
  os.javaTimeNanos := @javaTimeNanos_md;

usa questo pezzo di codice per prendere i tempi

[frandell]

Grazie mille. Sicuramente dovrò studiarlo perché la mia conoscenza in merito è proprio terra terra...a dir poco...Però ci sarebbe un altro problema: dove lo metto?
Ehm scusami ancora e spero di non approfittare della tua disponibilità...

[Stilgar]

Questi frammenti di codice li puoi mettere dentro una unit a parte.
Sistemalo fintanto non compila.
Questo per un sistema (solo per windows).
Se hai linux ... non va bene Ma è pronto per accogliere anche il codice per linux

La funzione resituisce un numero, che rappresenta i millisecondi.

L'uso è da fare in questi termini.
Prenti il tempo prima di un ciclo.
Alla fine del ciclo rilevi nuovamente il tempo.
Sottrai i due valori (secondo-primo) e hai i millisecondi che sono intercorsi nel ciclo.

Non è un "profiler serio", ma aiuta ad orientare gli sforzi di tuning del codice

Stilgar

[Stilgar]

PS: Il codice arriva da una libreria che sto stendendo in questo periodo.

[frandell]

Grazie! Lo sto implementando su Windows 7 ma purtroppo sto avendo problemi con i tipi FILETIME e SYSTEMTIME che non sembra riconoscere

[Stilgar]

Includi Windows ...
Sono strutture di sistema ...

[frandell]

Ciao Stilgar, ancora grazie.

L'ho lanciato finalmente intorno alle 10.40 ed è ancora in esecuzione...

[Stilgar]

Hai un log o qualche cosa che ti dia i tempi?
IN modo da capire dove in ferma a loppare?

[frandell]

Purtroppo no, finora non mi è servito. Scrivevo tutto sul memo ma ho tolto parecchi messaggi per velocizzare un po'. Ma con beginupdate e endupdate non avrei dovuto vederli scorrere?