problemi con sqlite 3 e zeos

[antoniog]

ho inserito in un datamodule : Zconnection collegandolo ad un database sqlite3, Ztable collegandolo ad una tabella con 73 colonne, e Tdatasource, i collegamenti sono corretti.
Al momento di caricare i campi della tabella (doppio click su Ztable) viene segnalato l'errore :
"Impossibile ottenere la lista campi del dataset
Controlla le impostazioni del dataset
Row buffer width exceeded. Try using fewer or longer columns in SQL query."
qualcuno sà aiutarmi a risolvere l'arcano?
Grazie

[Stilgar]

azz. Hai sfondato la dimensione della riga di buffer ...
Controlla dentro il file ZDBcCache.

Codice: [Seleziona]

   TZByteArray = array[0..65535] of Byte;
...
   if FColumnsSize > SizeOf(TZByteArray)-1 then
      raise EZSQLException.Create(SRowBufferWidthExceeded);

Da questo controllo direi che dovresti farti 2 conticini .. le righe superano (con i varchar al massimo) i 65535 byte? Se sì, creca di usarne qualcuno meno
Sicuro che ti servano tutti i 73 campi in un unica riga e che tu non possa spezzarla in "parent" e "child"?
Al massimo usi 2 tabelle, in master e slave, dove mappi meno campi per tabella.
Stilgar

[antoniog]

spezzare la tabella mi complichebbe la vita. Ti faccio perdere un pò di tempo. Stò convertendo un programma di contabilità multiaziendale, scritto quasi 20 anni fà in delphi4 (prima rel. 1989 in Foxpro), e ho necessità di riconvertire gli archivi storici, all'occorrenza, da DBF a SQL, con una procedura automatizzata che ho già scritto e funziona, con 2 datamoduli con 27 tabelle ciascuno, in un datamodulo Zconnection e ZTable con protocollo Sqlite-3, nell'altro tabelle Tdbf. Le tabelle Ztable e Dbf hanno gli stessi campi per cui una semplice routine copia i dati da una tabella all'altra, proiettando il programma verso un futuro dove i DBF cesseranno di esistere, già adesso ho incontrato non poche difficoltà ad aprirli e gestirli. La cosa strana, e di logica inspiegabile, è che se al posto di ZTable utilizzo TSqlite3Dataset la tabella con i 73 campi viene gestita così come con TDbf. Quindi o Zeos ha delle grosse limitazioni per cui è meglio non usarlo oppure è necessario, in un qualche modo, configuralo affinchè lavori secondo i bisogni come avveniva con BDE administrator.

[Stilgar]

Brevemente ... visto che è un batch quello che stai preparando per la "conversione" degli archivi, lascia stare la parte di "design" e passa a basso livello.
Quello che devi fare sono insert massive, e il passaggio per i componenti grafici, rallenta.
Viagga a livello di IZConnection, IZPreparedStatement.
In questo modo hai le tue "insert" pronte e utilizzabili subito.
Leggi dal vecchio database e inserisci i dati subito. In questo modo non passi per la cache dei vari componenti. A te interessa inserire subito i dati convertendo il db... se non mi sono perso qualche pezzo per strada ...
In ogni caso SQLite ... sei sicuro che sia la strada corretta? Va benissimo per videogiochi e telefonini .. o programmi con piccoli database ... ma un gestionale ... mmm ho qualche dubbio posso essere la scelta vincente ... puoi provare FirebirdSQL embedded .... sicuramente meno "rognoso" per le performance.
Stilgar

[antoniog]

Stilgar, con le opportune differenze, mi è sembrato di capire che tu mi proponi di tornare agli inizi degli anni '80, quando programmavo in basic (il basic di allora) e gestivo archivi in formato testo, dovevo scrivere proprio tutto, chilometri di listati da controllare e verificare, una cosa da 'matti' ; il visuale è un grande passo avanti, irrinunciabile! Di SQL non sò molto, la cosa che mi è sembrato di capire che non cè uno standard, dato che non sò molto evito di dire 'cazzate'.
Proprio perchè vengo da lontano l'impostazione dei miei database consuma poche risorse, in questo gestionale, la conversione degli archivi di un esercizio passato (un anno di contabilità) dura meno di 3 minuti, un tempo più che accettabile. Le tabelle con gli anni hanno aumentato il numero dei campi per essere adeguate alle nuove disposizioni di legge (annuali) e non perdere la compatibilità col passato. Avendo scelto Lazarus (multipiattaforma) per convertire i miei programmi scritti in delphi4 (windows), mi sono subito reso conto di 2 difficoltà, la prima la gestione dei database, atteso che i .DBF non hanno futuro, e i report che sono complessi e dovrò riscrivere completamente, al proposito conosci qualcosa di compatibile con Qreport?  ho pensato di utilizzare SQLite perchè è l'unico che sono riuscito a fare funzionare (SQLite database browser) e, cosa importante, con un piccolo modulo funziona anche in windows ma il problema non è sqlite ma Zeos, anche se non credo che la tabella con 73 campi ecceda i 65535 byte, forse saranno i nomi dei campi, alcuni solo con 2 caratteri, forse perchè nella conversione ho lasciato il tipo 'field' non assegnando alcun altro tipo (text, integer, ecc.), qualcos'altro al suo posto? In ogni caso devo fare delle verifiche e decidere.
Grazie.

[antoniog]

senza dimenticare quello che ho detto prima è successo una cosa incredibile che mi lascia più insicuro di prima. Ho provato, tramite SQLite database browser, a modificare la tabella che dava l'errore :"Impossibile ottenere la lista campi del dataset Controlla le impostazioni del dataset
Row buffer width exceeded. Try using fewer or longer columns in SQL query.", ho assegnato ai campi numerici 'Field type' = NUMERIC, ai campi TEXT niente (perchè se metti Text viene visualizzato (BLOB), e non da più errore, i dati vengono visualizzati, sembra, correttamente. Il problema rimane perchè questa è una soluzione dovuta ad un pò di esperienza e tanta fortuna.

[Stilgar]

Antonio, io non proponevo per niente un passi negli anni 80 ... ti proponevo un ciclo for ... o meglio un while con annidato un for ... ma tantè.
Lavorare a livello di Insert non centra nulla con la parte visuale. I componenti di Backend possono essere rimossi nel 40% dei casi. Il tuo mi sembrava uno di questi.
Dici che la trasformazione in DBF ti costa 3 minuti. Ok, ma i "giri" che fanno i dati in memoria sono tanti. Se devi fare un impost massivo, forse riesci a risparmiare qualche secondo.
Poi dovrei avere sotto mano i tuoi lisati per poter giudicare se i miei suggerimenti sono effettivamente validi per il tuo problemi.
Persevera e fammi sapere come ne esci.

Stilgar

[antoniog]

non appena avrò ultimato la procedura di conversione ti manderò i sorgenti (2/3 giorni), così potrai fare una valutazione ed eventualmente migliorare il tutto. Ovviamente userò SQLite3, aspetterò tue valutazioni per altro.

[Stilgar]

Antonio .. prova a dare una letta a questo articolo : http://www.lazaruspascal.it/index.php?page=111
Ci sono le basi per lavorare con Zeos senza i componenti di backend.
Mal che vada tieniti le mani libere

Stilgar

[antoniog]

grazie, leggerò e proverò.

[antoniog]

Stilgar, quello che hai scritto è molto interessante ma al momento mi servono istruzioni più "terra.. terra".
Ho convertito i miei vecchi archivi .DBF in file .CVS pronti per essere importati in un database.
Ho cercato programmi con interfaccia grafica per la gestione dei database e ho trovato solo questi due : Kexi e SQLite database browser.
Gestiti da Lazarus con Zeos, Kexi trasforma i campi stringa in campi memo e SQLite d. b. trasforma i campi numerici in campi stringa. Entrambi non mi consentono di operare.
Tu conosci altre interfaccie grafiche per la gestiorne dei database e delle tabelle?
FlameRobin, PgAdminIII,Tora, emma, sono gestori di database ma io sono un passo prima, devo costruire il database con le tabelle importate tramite .cvs. Da .dbf

[Stilgar]

http://sqliteadmin.orbmu2k.de/
Non è mantenuto, o meglio sul forum di Zeos darebbero pure supporto .... se solo il tetesco si degnasse di rilasciare i sorgenti, potremmo aggiustare parecchie cosine del programma.
Ha la funzione import da CSV ... mai notato problemi di conversione anomale.

[nomorelogic]

@antoniog:
quante tabelle sono?
se non sono molte puoi ricrearle tu in sql con istruzioni tipo CREATE TABLE, il formato dbf è molto semplice da tradurre.
Poi i csv si importano in un secondo momento a struttura create.


Edit:
questo sembra produrre anche output SQL, spero ci sia anche la struttura e non solo le insert... da provare
http://sourceforge.net/projects/dbf/?source=directory

[antoniog]

grazie a Stilgar e Nomorelogic dei suggerimenti.
penso di riuscire presto, al momento ho qualche difficoltà come root, la divina provvidenza deve avere cambiato la password.

[antoniog]

sono ad un punto morto. un pò funziona un pò no.
Voglio cancellare tutti i record di tutte le tabelle di un database sqlite ma mi da errore:
SQL Error: SQL logic error or missing database.
su :
rocedure TConvPrismaF.Button3Click(Sender: TObject);
var
   I : Integer;
  // TTempDBF : TDbf;
  TTempZ : TZTable;
    Perco, Perco1, TempFile, C : string;
begin

      GetDir(0, C);
       perco:= C+'/GENUARDI/2010/esercizio.sdb';
       ConvPrismaF.ProgressBar1.Max := DataSql.ComponentCount;

    with DataSql do  //datamodulo
    begin
          //daidir
      ZConnection1.Connected:=False;
      ZConnection1.Database:= perco ;
      ZConnection1.Connected:=True;
    I:=0;
     while I < ComponentCount do
      begin
        if Components is TZTable then
          begin
            TTempz:= Components as TZTable;
            TTempz.Active:=True;
            if TTempz.recordcount>0 then
              begin
                TTempz.First;
                 while not TTempz.EOF do
                   begin
                     TTempz.Delete;
                     TTempz.Next;
                   end;
                end;
             TTempz.ApplyUpdates;
          end;
        ConvPrismaF.Progressbar2.Position:= ConvPrismaF.Progressbar2.Position + I;
        I:=I+1;
      end;
       informa('Finito Cancella.');
    end;
end;   

ringrazio in anticipo per correzioni.