Fine-tuning di modelli open sui propri dati

I large language model arrivano pre-addestrati su vaste porzioni del web pubblico. Quella vastità li rende straordinariamente versatili — ma versatile non è la stessa cosa di esperto. Quando il tuo business ha bisogno di un modello che comprenda la tua tassonomia interna, scriva nel tuo stile redazionale o ragioni su processi proprietari, si aprono tre percorsi di adattamento: prompt engineering, retrieval-augmented generation (RAG) e fine-tuning. Ognuno ha il suo posto, e scegliere quello giusto — o la giusta combinazione — può fare la differenza tra un prototipo e un sistema in produzione. Privonis aiuta le organizzazioni europee a navigare questa scelta ed eseguirla interamente all'interno della propria infrastruttura.

Tre percorsi per l'adattamento al dominio

Il prompt engineering non costa nulla oltre a tentativi ed errori, ma incorre in un muro invalicabile: si può adattare solo una certa quantità di contesto in una finestra e il modello potrebbe semplicemente non avere la conoscenza di dominio necessaria. RAG aggira il limite di contesto recuperando chunk pertinenti da una knowledge base al momento della query e passandoli al modello. È potente e sorprendentemente economico, ma la qualità del recupero limita la qualità della risposta — se il chunk giusto non viene trovato, il modello non può ragionare su di esso.

Il fine-tuning adotta un approccio diverso: aggiorna i pesi del modello sul tuo dataset curato in modo che la conoscenza di dominio diventi intrinseca. Il risultato è un modello che risponde da una competenza interiorizzata anziché da snippet recuperati. Tipicamente performa meglio su compiti sensibili allo stile, output strutturati e pipeline critiche per la latenza dove non ci si può permettere un ulteriore round-trip di recupero. Il rovescio è il costo — sia in tempo GPU che nella preparazione dei dati — quindi vale la pena ricorrervi quando gli altri due metodi hanno raggiunto un plateau.

Quando il fine-tuning è la scelta giusta

• I tuoi output devono seguire un formato preciso (note cliniche, clausole legali, JSON strutturato) che i template di prompt non possono far rispettare in modo affidabile.
• Il modello manca costantemente di vocabolario di dominio, acronimi o nomi di prodotto che non sono mai apparsi nel suo corpus di pre-addestramento.
• I requisiti di latenza escludono un hop di recupero ad ogni richiesta.
• Vuoi comprimere un prompt complesso multi-shot in un comportamento zero-shot per costo e velocità.
• Stai distillando un modello più grande in uno più piccolo ed economico per il deployment su edge o on-premise.

LoRA e QLoRA: fine-tuning senza un budget da data center

Il fine-tuning completo aggiorna ogni peso nel modello, il che è proibitivamente costoso per modelli con decine di miliardi di parametri. Low-rank adaptation (LoRA) aggira questo problema iniettando piccole matrici addestrabili negli strati di attenzione mentre congela i pesi originali. Il numero di parametri addestrabili scende di un fattore 100 o più, eppure il modello risultante eguaglia o supera la qualità del fine-tuning completo sulla maggior parte dei compiti. QLoRA aggiunge la quantizzazione al mix — il modello base congelato viene caricato in precisione a 4 bit, riducendo drasticamente i requisiti di memoria GPU al punto che un modello da 70 miliardi di parametri può essere fine-tuned su un singolo A100.

Con QLoRA, un team che possiede un A100 può fare il fine-tuning di un modello open all'avanguardia in un pomeriggio — senza account cloud, senza dati che lasciano l'edificio.

Preparazione dei dati: il passaggio che fa la differenza

La qualità del modello è limitata dalla qualità dei dati. Prima di qualsiasi training run, Privonis lavora con i clienti per curare un dataset supervisionato di coppie input-output che rappresentano esattamente il comportamento desiderato. Le fonti tipiche includono: interazioni cliente revisionate, output del modello corretti, documenti annotati da esperti e dati sintetici generati da un modello teacher più potente e poi filtrati. Il volume conta meno della diversità e della correttezza — mille esempi accuratamente verificati spesso superano diecimila rumorosi. Le pipeline di pulizia dei dati gestiscono la deduplicazione, il taglio della lunghezza e la normalizzazione del formato prima dell'inizio dell'addestramento.

Valutazione: sapere quando si è finito

Il fine-tuning senza una valutazione rigorosa è un'ottimizzazione al buio. Un set di valutazione held-out — mai visto durante l'addestramento — misura se il modello ha generalizzato o semplicemente memorizzato. Le metriche dipendono dal compito: exact match e F1 per compiti di estrazione, ROUGE per la sintesi, valutazioni di preferenza umana per la generazione aperta. Privonis esegue valutazioni automatizzate dopo ogni checkpoint e segnala il catastrophic forgetting — casi in cui il modello acquisisce competenze di dominio ma perde il ragionamento generale — includendo un campione di benchmark standard in ogni suite di valutazione.

I pesi sono tuoi

Questo è il punto che viene spesso perso nelle discussioni sulle API di fine-tuning cloud-hosted: quando fai il fine-tuning tramite un servizio di terze parti, i pesi risultanti potrebbero essere bloccati a quel fornitore. Con Privonis, il modello base è open-weight, il training run avviene sull'hardware che controlli e l'adapter LoRA o il checkpoint fuso è tuo da conservare, versionare e distribuire dove vuoi. Ciò significa nessun vendor lock-in, nessuna tariffa per token su un modello che hai pagato per addestrare e nessun rischio che il fornitore riaddestrasse sui tuoi dati. Per le aziende europee che gestiscono informazioni sensibili, conservare i pesi non è un nice-to-have — è un requisito di governance.