Italian community of Lazarus and Free Pascal
Altro => Pub => Topic aperto da: DragoRosso - Settembre 23, 2024, 10:28:09 am
-
Ciao a tutti.
Con l'uscita della nuova versione di Delphi (12.2), sono state integrate nell'IDE le funzionalità di IA. Queste vanno dalla ricerca di bug, al suggerimento di codice, conversione del codice stesso da e per vari altri linguaggi, etc ...
Non sono stato mai un grande patito dell'IA (le avevo provate più o meno tutte durante i vari periodi gratuiti forniti), ma essendo disponibile anche Ollama (di Meta) che è offline e gratuito ho voluto provare e in tre semplici passaggi sono riuscito ad installare il server (appunto Ollama), caricare il modello più appropriato (ho scelta llama3.1) e farlo girare. sia direttamente a linea di comando che nell'IDE.
Di seguito i passi per installare Ollama, caricare il modello e "farlo girare", il tutto sotto WINDOWS.
Se qualcuno volesse provare, questi sono gli step ed i riferimenti:
Pagina di riferimento di Ollama: https://ollama.com/ (https://ollama.com/)
1) Scaricare dal download la "preview" di Widnows. Dovete solo premere i pulsanti visualizzati.
2) Installate la preview. Questa include tutti i file necessari (comprese le CUDA) per fare girare il modello che poi sceglierete. Sono 600 MegaByte di file.
3) Una volta installata la preview, vederete che nella taskbar dir Windows ci sarà l'icona di una pecora bianca (almeno credo sia una pecora). Questo è il server REST e deve essere sempre attivo se volete usare l'IA.
Per verificare la correttezza dell'installazione e che il server sia attivo potete aprire un browser e digitare il seguente indirizzo web:
http://127.0.0.1:11434
Dovrebbe rispondere con "Ollama is running".
Quando avete finito di lavorare con l'IA potete chiudere il server questo libererà tutte le risorse ancora in uso dall'IA stessa.
Ora il secondo step è caricare il modello: come ho detto il modello che ho scelto io (ma una mia scelta personale) è "llama3.1" nella versione "light" da 4,7 GigaByte (c' anche quella da 300 GB ...).
Per caricare il modello prescelto dovete fare così:
4) Andate al prompt di msdos (cioè il CMD) e digitate:
ollama pull llama3.1
Non usate powershell, se non sono abilitati gli script (che è il default in Windows) vi troverete con montagne di scritte :o , usate il CMD (o terminale di windows). Se vi porta comunque in powershell digitate "cmd" per entrare appunto in CMD è "lavorate" da li.
Ovviamente "llama3.1" è il nome del modello, voi dovrete usare la vostra scelta. Un altro modello che và di moda è "Mistral".
Qui avete l'elenco di tutti i modelli disponibili: c'è da spaccarsi la testa per quanti ce ne sono: https://ollama.com/library (https://ollama.com/library)
Occhio che il modello che scaricate occuperà diversi GIGA ....
Una volta scaricato il modello digitate sempre al prompt di MSDOS:
ollama run llama3.1
(sostituite sempre il nome che avete scaricato e che volete usare).
Con llama3.1, potrete chiedere alla IA di dialogare in Italiano semplicemente chiedendo in "chat" in un qualsiasi momento: "Possiamo discutere in Italiano".
Per uscire dalla chat premete "CTRL D" (ossia i tasti "CTRL" e "D").
La IA userà automaticamente le risorse disponibili (CUDA, AVX2, etc ...).
Potrete scaricare quanti modelli vorrete, per farli girare digitate sempre il "run" con il nome del modello.
Questo è tutto, buon divertimento.
Bye
-
Grazie per tutte le info!
-
[...]
Una volta installata la preview, vederete che nella taskbar dir Windows ci sarà l'icona di una pecora bianca (almeno credo sia una pecora)
[...]
Interessante sul serio...
Cmq per l'icona credo sia un lama
-
Cmq per l'icona credo sia un lama
Ah ah ah, giustamente ... non mi è neanche passata l'idea per l'anticamera del cervello ...
C'è anche la stessa funzionalità per Linux ... ma lascio a qualcun altro più avezzo al popolare linguaggio di scripting la gioia di proporre una sua soluzione installativa ...
Ciao