strategia per incrociare dati provenienti da DB diversi

[schumi]

ciao,
avrei la necessità di mettere in griglia dati provenienti da DB2 (AS400) e Postgresql per visualizzarli in un'unica griglia.
Qui la velocità è essenziale perché c'è l'utente che aspetta davanti al monitor, mentre per Postgres posso ottimizare anche gli indici sul DB2 non ho spazi di manovra.
La mia idea era fare la query da DB2 e "buttarla" in una temporary table di postgres e poi fare il join con le altre tabelle.
Voi come fareste?

grazie

[xinyiman]

Ciao io farei cosi:

1. Creo un dataset virtuale (tutorial: http://www.lazaruspascal.it/index.php?page=86 )
2. Prendo i dati da postgres e li inserisco nel dataset virtuale
3. Prendo i dati da as400 (con odbc, connettori iSeries) e li accodo nel dataset virtuale
4. In dbgrid faccio vedere i dati del dataset virtuale

Ovviamente non sono modificabili direttamente dalla griglia. Se devi modificarli ti fai un interfccia ed esegui le query in direzione della corretta sorgente.

[nomorelogic]

avrei la necessità di mettere in griglia dati provenienti da DB2 (AS400) e Postgresql per visualizzarli in un'unica griglia.
Qui la velocità è essenziale perché c'è l'utente che aspetta davanti al monitor, mentre per Postgres posso ottimizare anche gli indici sul DB2 non ho spazi di manovra.
La mia idea era fare la query da DB2 e "buttarla" in una temporary table di postgres e poi fare il join con le altre tabelle.
Voi come fareste?

un datapump da AS400 a tabelle in Postgres credo sia la scelta migliore
resta da capire quanto tempo ci si impiega a spostare i dati...

[schumi]

intanto grazie delle risposte.

@xinyiman avevo iniziato anch'io a spulciare nei forum i dataset virtuali, però non devo accodare ma bensì incrociare, per capirsi nel DB2 c'è la parte anagrafica mentre nel postgres c'è un dato di vendita da aggregare, si può sicuramente arrivare alla soluzione ma volevo ottenere delle performance accettabili.
non devo comunque modificare dati, stiamo parlando di statistiche pure

@nomorelogic si il tema è proprio quello della velocità, ho già dei programmi che lavorano con il DB2 e non so come ottimizzare le query. non mi resta che provare

[xinyiman]

Scusa allora avevo frainteso. Io procederei così:

per prima cosa devo stabilire con che frequenza quelle statistiche vengono eseguite. Ad esempio se vengono storicizzate la notte puoi fare il dump come dice nomore verso le 10 di sera e poi automatizzare le statistiche verso l'una (così dovresti avere tutto il tempo per il restore del dump).
Se invece sono cose che devono essere fatte in tempo reale da una persona (esempio l'amministratore delegato lo fa quando vuole e ha sempre pochissimo tempo) metterei su un sistema che legge i dati ciclicamente dall'as400 e li trasporta su postgres e poi il tuo programma fa tutte le statistiche che vuoi usando le join.

Un'altra strada percorribile per qunto brutta può essere appoggiarsi ad un db access. Ricordo che anni fa access ti permetteva di linkare tabelle esterne (con gli odbc) e poi ti permetteva di fare le join tra le tabelle linkate. Vedi te...

[nomorelogic]

@nomorelogic si il tema è proprio quello della velocità, ho già dei programmi che lavorano con il DB2 e non so come ottimizzare le query. non mi resta che provare

se sono documenti ed hanno una data potresti provare ad includere nella select solo quelli del giorno corrente e del giorno precedente
se poi nell'AS400 hai un campo che ti dice la data dell'ultima modifica sei a cavallo

di solito leggere i dati dall'AS è una operazione che richiede tempi... biblici