Filestream per leggere un file

[frandell]

Salve a tutti,

Sto cercando di realizzare una specie di parser in grado di leggere un file di testo una riga per volta e confrontarlo con il contenuto di un altro file di testo contenente alcune regole. Quando viene trovato il match della riga con una regola viene scritto su un file xml.
Per file piccoli funziona ed è anche abbastanza veloce. La parte di codice che fa il lavoro da me descritto è la seguente:

Codice: [Seleziona]

procedure TGUI_Parser.ManeggiaLog(const txt: String);
var myFile : TextFile;
myStringa, myOre, myMinuti, mySecondi, mySubStr: Ansistring;
m: integer;
FlagCapt, FlagNew, FlagReal, FlagAlr: boolean;
begin
  AssignFile(myFile,txt);
  Reset(myFile);
  Visualizzatore.Append('Leggo Log File: '+txt);
  StringaCapt_o :='';
  StringaId_o :='';
  RealTime_o := '';
  CpuTime_o := '';
  FlagCapt := False;
  FlagNew := False;
  FlagReal := False;
  SetLength(StringaVett,3500000);
  k:=0;
  while not Eof(myFile) do
  begin
    FlagCapt := False;
    FlagAlr := False;
    StringaCapt_o:=MyDeclare.StringaCapt;
    StringaId_o:=MyDeclare.StringaId;
    RealTime_o:=MyDeclare.RealTime;
    CpuTime_o:=MyDeclare.CpuTime;
    ReadLn(myFile,myStringa); 
    ...
  end;

Purtroppo mi può capitare di maneggiare file di qualche centinaio di MB e in questo caso sto cercando di utilizzare il Filestream per fare lo stesso lavoro ma sembra che per come l'ho implementato io (codice di seguito) non riesca a leggere le righe allo stesso modo.

Codice: [Seleziona]

procedure TGUI_Parser.ManeggiaLog(const txt: String);
var //myFile : TextFile;
Reader : TFileStream;
myStringa, myOre, myMinuti, mySecondi, mySubStr: Ansistring;
m,index,bufferleng: integer;
FlagCapt, FlagNew, FlagReal, FlagAlr: boolean;
begin
  //AssignFile(myFile,txt);
//  Reset(myFile);
  Visualizzatore.Append('Leggo Log File: '+txt);
  StringaCapt_o :='';
  StringaId_o :='';
  RealTime_o := '';
  CpuTime_o := '';
  FlagCapt := False;
  FlagNew := False;
  FlagReal := False;
  bufferleng := 32768;
  k:=0;
  SetLength(StringaVett,3500000);
//  while not Eof(myFile) do
  try
    Reader := TFileStream.Create(txt,fmOpenRead);
    FlagCapt := False;
    FlagAlr := False;
    StringaCapt_o:=MyDeclare.StringaCapt;
    StringaId_o:=MyDeclare.StringaId;
    RealTime_o:=MyDeclare.RealTime;
    CpuTime_o:=MyDeclare.CpuTime;
    Index := 0;
    MyStringa := '';
    Reader.Seek(Index,soFromBeginning);
    SetLength(MyStringa,bufferleng);
    Reader.Read(MyStringa,Index);                        
    ...
    Index := Index + bufferleng;
  finally
    Reader.Free;
  end;        
    

Non riesco a capire cosa ci sia che non vada bene. Potete aiutarmi per favore?

Grazie mille.

Francesco

[Stilgar]

Codice: [Seleziona]

 Reader.Read(MyStringa,Index);                     

Prova

Codice: [Seleziona]

 Reader.Read(MyStringa[1],Index);                     

Dimmi se funziona

[frandell]

Ciao Stilgar e grazie per la gentile risposta ma purtroppo il risultato non cambia 

[Stilgar]

Allora mi sfugge il problema ...
Leggi la stringa sempre alla stessa posizione....

Codice: [Seleziona]

    SetLength(MyStringa,bufferleng);
    Reader.Read(MyStringa,Index);     

A occhio e crocie quello che leggi è una parte del file.
Se leggi 3 volte, leggi nella posizinoe 3 blocchi del file.
Quindi :
1) Leggi tutto lo stream in un colpo solo.
2) Sposti l'indice di scrittura della stringa.

Ma forse non ho capito il problema e sto andando a margherite...
Stilgar

[frandell]

Penso di star leggendo il file a 32768 byte per volta, avendo fissato bufferleng a tale valore e incrementando la Index ogni volta.

Adesso ho spostato fuori dal blocco try l'assegnazione "Index := 0" ma il risultato è lo stesso.

[frandell]

Ho spostato adesso l'incremento della variabile Index tra la Seek e la SetLength ma il risultato ancora non cambia

[Stilgar]

Continua a sfuggirmi il problema ...
Con il primo listato readln leggeva fino al primo #13 ...
Ora leggi tutto + o - in un colpo solo ...
Allora hai pensato all'uso di una string list?
Così legge lei al posto tuo le stringhe.
Poi con il la propretry Text (vado a memoria) hai tutto il file carcicato in memoria.
E' un PChar, per cui il tuo parser ragionerebbe in termini di putatore e non stringa...
Stilgar

[frandell]

Ho pensato all'uso della TStringList (che peraltro ho usato per leggere il file delle regole con le proprietà Name e ValueFromIndex) ma avevo letto che il FileStream è molto più veloce per leggere i file grandi, perciò ho usato quello.
Dici che lo sto usando in modo improprio, leggendo il file tutto insieme anziché una stringa per volta?
Grazie ancora.
Francesco

[Stilgar]

Dipende da cosa ne devi fare ... lo stream è una cosa, ma se devi lavorare in termini di stringhe ... forse è più semplice lavorare con la struttura che ti serve.
Poi ti concentri sulla lettura via stream....

Stilgar

[frandell]

Decisamente devo lavorare in termini di stringhe. Pensavo che quello che avessi implementato all'inizio fosse il modo più efficiente ma alla fine, utilizzando la stringa di appoggio (invece anche della TStringList), per elaborare file di 800 MB l'applicazione impiega ore.
Pensi che usando la TStringList per appoggiarvi le righe del file da 800 MB l'elaborazione potrebbe essere più efficiente?
Grazie per l'aiuto ancora.
Francesco

[Stilgar]

Urca ... allora ti conviene leggere e parsare subito ...
Non caricare e parsare in tempi separati.
Passi uno stream al parser e con quello lavori.
Poi che lo stream sia un file stream o un memory stream, poi al parser non cambia la famosa beata fava

Stilgar

[frandell]

Ehm, scusami Stilgar, ma non è quello che stavo facendo io?
Nel frattempo ho cambiato qualche riga, ma l'effetto è sempre lo stesso.
Riscrivo il codice come nella mia ultima modifica. Grazie di nuovo per la tua disponibilità e la tua gentilezza.

Codice: [Seleziona]

procedure TGUI_Parser.ManeggiaLog(const txt: String);
var //myFile : TextFile;
Reader : TFileStream;
myStringa, myOre, myMinuti, mySecondi, mySubStr: Ansistring;
m,index,bufferleng: integer;
FlagCapt, FlagNew, FlagReal, FlagAlr: boolean;
begin
  //AssignFile(myFile,txt);
//  Reset(myFile);
  Visualizzatore.Append('Leggo Log File: '+txt);
  StringaCapt_o :='';
  StringaId_o :='';
  RealTime_o := '';
  CpuTime_o := '';
  FlagCapt := False;
  FlagNew := False;
  FlagReal := False;
  bufferleng := 32768;
  k:=0;
  SetLength(StringaVett,3500000);
  Index := 0;
  try
    Reader := TFileStream.Create(txt,fmOpenRead);
    FlagCapt := False;
    FlagAlr := False;
    StringaCapt_o:=MyDeclare.StringaCapt;
    StringaId_o:=MyDeclare.StringaId;
    RealTime_o:=MyDeclare.RealTime;
    CpuTime_o:=MyDeclare.CpuTime;
    MyStringa := '';
    while Index < Reader.Size do
    begin
     Reader.Seek(Index,soFromBeginning);
     Index := Index + Bufferleng;
     SetLength(MyStringa,bufferleng);
     Reader.Read(MyStringa,bufferleng); 
     ...
     finally
    Reader.Free;
  end;     

[Stilgar]

Frandell... questo è solo un ciclo di lettura ... vedendo questo codice mi viene da pensare che leggi e parsi.

Quello che dicevo io era più del tipo:

Codice: [Seleziona]

procedure parse(const s : TStream);
var
  c : Char;
  accumulo : String;
begin
  while s.read(C,SizeOf(C)) < SizeOf(C) do
  begin
     if C  <> #32 then { o #13 o #10 o altri separatori di comodo }
       accumulo := accumulo +C;
    else
    begin
      { qualche cosa legata al parser }
    end;
  end;
end;

Tu leggi un blocco e poi lo interpreti.

Stilgar

[frandell]

Ti chiedo ancora scusa, forse sono io che ci sto capendo poco, o sarà per la mia inesperienza.
Ma con l'istruzione "Reader.Read(MyStringa,bufferleng);" non gli sto dicendo che ne leggo un blocco di lunghezza=bufferleng e poi lo parso? A me sembra così...
Grazie anche per la pazienza 

[Stilgar]

Ripartiamo allora.
Cosa c'è che non va?
La lettura, come la fai tu, non è corretta.
Per le stringhe non puoi caricare di botta N byte.
Le stringhe in Pascal hanno il "primo" carattere che è vincolato e utilizzato dal compilatore.
Che siano stringhe open o meno il compilatore ti impedisce di scrivere sul carattare [ 0 ]
Se carichi la stringa omettendo [1] carichi dalla posizione [ 0 ]. Quindi metti in crisi il sistema di gestione delle stringhe.
 

ma sembra che per come l'ho implementato io (codice di seguito) non riesca a leggere le righe allo stesso modo.

Poi altro non posso dirti se non mi spieghi cosa non va.
Se mi dici cosa vedi nel debugger forse c'è qualche possibilità che le indicazoni siano un attimino meno generiche

Stilgar