Sperimentazione AI in locale
Modelli open specializzati su domande relative a InfoCamere, addestrati su un ambiente aziendale ed eseguiti in locale.
Contesto e vincoli
Sperimentazione interna informale per valutare modelli specializzati su domande relative a InfoCamere. Le motivazioni erano esplorare un maggiore controllo sui dati, minori costi potenziali e meno dipendenza da fornitori esterni.
Come si è evoluto
- 01 Preparazione Dataset controllati Dati preparati con il gruppo per le prove.
- 02 Adattamento Qwen, Gemma e Llama Fine-tuning su Colab aziendale con Unsloth.
- 03 Esecuzione Ollama e demo locali Inferenza e dimostrazioni in locale.
Soluzione
Ho selezionato modelli Qwen, Gemma e Llama tramite Hugging Face. Con dataset specifici preparati insieme al gruppo ho svolto il fine-tuning con Unsloth su Google Colab in versione aziendale, predisposta per i dati interni sensibili, poi ho eseguito i modelli in locale con Ollama.
Risultati e limiti
Nei test, le risposte erano corrette nella maggior parte dei casi e miglioravano rispetto ai modelli di partenza. Restavano informazioni inventate, meno frequenti nei modelli più performanti. La prova si è conclusa senza un piano aziendale di adozione.
Cosa ho imparato
Eseguire l’AI in locale significa gestire insieme infrastruttura, dati, costi e governance.