Private AI, perché le aziende ne hanno davvero bisogno


La Private AI, o intelligenza artificiale privata, è uno dei concetti su cui le aziende informatiche si stanno concentrando nell’ultimo periodo. Vediamo quindi di capire cos’è la IA privata e in che modo è contrapposta alla “IA pubblica”.

Uno dei motivi che hanno permesso una diffusione rapidissima dei large language model – i modelli di intelligenza artificiale usati per esempio in ChatGPT, Microsoft Copilot o Google Gemini – è che si tratta di modelli aperti al pubblico, generalisti e versatili, che possono quindi essere usati immediatamente per moltissime applicazioni diverse.

Sempre più persone li stanno impiegando anche in ambito aziendale per produrre documenti, sviluppare software, ricercare e organizzare informazioni, aumentando drasticamente la propria produttività. Uno studio di Goldman Sachs afferma che l’IA generativa potrà aumentare il PIL globale del 7 percento, mentre, per l’Italia, The European House Ambrosetti prevede una crescita fino al 18 percento del PIL.

Nessuna azienda, quindi, può permettersi di ignorare la rivoluzione IA senza rischiare di perdere competitività. Ma l’utilizzo dei modelli generalisti e pubblici è per molte aziende troppo limitativo, e per alcune anche rischioso. Cerchiamo di capire perché.

Perché le aziende hanno bisogno della Private AI

I motivi principali per cui i modelli di IA generativa pubblici non sono adatti a un impiego aziendale si possono riassumere in quattro esigenze: avere risposte affidabili basate su informazioni certe; mantenere riservate le informazioni aziendali proprietarie e sensibili; integrare le funzionalità di IA generativa nei software e nei processi aziendali; infine, avere garanzie di continuità e prestazioni del servizio.

La private AI e il “grounding” sui dati aziendali

Ogni azienda ha bisogno che qualsiasi applicazione, anche i chatbot e i modelli linguistici, diano risposte affidabili, basate su informazioni aziendali certificate. I large language model generalisti – però – sono addestrati su enormi quantità di dati pubblici, tendenzialmente provenienti da Internet. Non conoscono i manuali d’uso dei prodotti dell’azienda, né tantomeno – e per fortuna – le informazioni sui processi interni e quelle finanziarie.

Inoltre, a partire dai dati di addestramento pubblici, un large language model genera delle risposte che sono probabilistiche. Possono quindi contenere degli errori, inventare di sana pianta informazioni e addirittura generare testi senza senso (comportamenti che vengono definiti allucinazioni della IA).

Una delle esigenze dell’azienda è quindi che la IA mantenga i piedi ben piantati per terra e fornisca informazioni solo a partire da fonti verificate. Questo collegamento con i dati reali viene chiamato grounding.

Proteggere le informazioni riservate e personali

I termini d’uso di molti modelli generalisti prevedono che i ricercatori possano usare le conversazioni fatte dall’utente per risolvere problemi o migliorare il modello. Inoltre, errori o attacchi informatici possono portare a esporre le informazioni inserite a utenti terzi o a malintenzionati.

Ai fini della governance dei dati e della legge sulla privacy, un large language model pubblico dovrebbe essere trattato come un servizio cloud che non è sotto il controllo dell’azienda. Il rischio è che segreti industriali o informazioni personali possano essere divulgati inconsapevolmente.

L’IA generativa nei software aziendali

Un conto è inserire una richiesta in un chatbot, ma tutt’altra cosa è avere un riassunto delle precedenti conversazioni con il cliente già integrato nel sistema CRM che l’operatore usa durante una chiamata, o avere una dashboard che segnala automaticamente la presenza di commenti problematici sui profili social dell’azienda.

Se è vero che integrazioni di questo tipo sono possibili anche utilizzando le API dei modelli pubblici (le API sono interfacce software per collegare due applicazioni), è comunque necessario fare i conti con alcune limitazioni o aspetti imprevedibili. Molti modelli hanno infatti dei limiti di utilizzo orari o giornalieri e non offrono adeguate garanzie sui tempi di latenza, di elaborazione e sulla disponibilità del servizio (SLA).

Esiste inoltre il rischio che nel corso del tempo il fornitore modifichi le policy d’uso o le specifiche tecniche delle API, compromettendo la funzionalità del software aziendale.

Tre modi per avere una Private AI in azienda

Per risolvere tutti questi problemi le aziende hanno bisogno di avere una IA privata, che sia istruita sulle informazioni proprietarie senza che queste siano comunicate a terzi, e di cui si possono controllare nel dettaglio funzionalità, aggiornamenti e disponibilità del servizio.

A seconda degli obiettivi e della disponibilità di risorse tecniche ed economiche, esistono al momento tre diversi approcci alla Private AI. In ordine di complessità: l’utilizzo di un modello generalista su propri server, il suo collegamento a una fonte dati attraverso la RAG (Retrieval Augmented Generation), e il fine tuning di un modello con dati aziendali.

Installazione privata di un modello generalista

Esistono sul mercato diversi LLM open source, alcuni molto potenti e gestiti da grandi aziende che garantiscono affidabilità e aggiornamenti. I più famosi al momento sono Llama-2 di Meta, Mistral, Falcon LLM e Grok di xAI (branca di X, ex Twitter).

Sebbene alcuni includano delle limitazioni nelle licenze, tutti possono essere installati e usati liberamente e gratuitamente a fini professionali, ed esistono tool come Ollama che ne semplificano l’installazione e la configurazione su una propria infrastruttura.

RAG: la private AI consulta i dati aziendali

Il passo successivo, che permette di ottenere dal modello informazioni rilevanti basate su documenti e database aziendali, è rappresentato dalla RAG: Retrieval Augmented Generation, o generazione potenziata dal recupero (di informazioni).

La RAG prevede la creazione di un elemento di collegamento tra il modello linguistico e una fonte dati aziendale: può essere un archivio delle e-mail o delle chat, un archivio di documenti, il database con i listini, il CRM, l’ERP o qualsiasi altro archivio.

La richiesta dell’utente viene prima convertita in una query che viene usata per ricercare le informazioni all’interno della fonte dati aziendale. Le risposte a questa query vengono quindi fornite nuovamente al modello, insieme a una versione eventualmente modificata della richiesta iniziale, per ottenere una risposta complessiva basata su informazioni verificate.

La RAG può anche essere usata per reperire informazioni da fonti dati pubbliche, per esempio le quotazioni di borsa o la disponibilità di voli per una certa destinazione, se queste devono essere considerate nella risposta.

La RAG può quindi diventare uno strumento molto utile per reperire e sintetizzare velocemente informazioni che possono essere sparse su molti documenti o database diversi, ma anche per ottenere analisi e valutazioni difficili da ricavare in altro modo, liberando l’intero potenziale dei dati aziendali.

Il fine tuning di un modello

A volte il recupero di informazioni non è sufficiente a ottenere il risultato desiderato. È necessario che il modello acquisisca una competenza su un dominio specifico della conoscenza, o che alteri il modo in cui risponde. In questo caso è possibile modificare il modello stesso esponendolo a nuovi dati di addestramento e modificando i pesi dei diversi parametri interni al modello. È quel che viene definito fine tuning di un modello IA.

La fase di addestramento potrà essere lunga e piuttosto onerosa in termini di potenza di calcolo, ma una volta preparato, il modello potrà funzionare senza dover continuamente interrogare le fonti dati esterne a ogni richiesta.

Per lo stesso motivo, il modello avrà conoscenze che rimarranno “cristallizzate” al momento del fine tuning, e non potrà quindi lavorare con dati e informazioni dinamiche, che cambiano giorno per giorno. Nel caso fosse necessario, è possibile applicare la RAG anche a un modello personalizzato attraverso il fine tuning, per avere il meglio dei due mondi.

Quale infrastruttura serve per la Private AI

Che si tratti di un server locale o un’infrastruttura in cloud, uno dei requisiti più importanti per servire progetti di private AI e di intelligenza artificiale in generale sono le GPU, che deve essere potente e con un’abbondante quantità di video RAM. GPU di questo tipo sono piuttosto costose, a volte difficili da reperire sul mercato, e devono anche essere configurate correttamente per lavorare con i modelli linguistici.

Fortunatamente, è anche possibile utilizzare servizi di Cloud GPU per sostenere in modo flessibile e managed i workload di Private AI. L’utilizzo di un’infrastruttura cloud permetterà di abbattere i costi di acquisto, e anche mitigare i rischi della sperimentazione. Trattandosi di un territorio ancora poco esplorato, infatti, ogni azienda dovrebbe considerare i progetti IA come un inizio: partendo con un progetto pilota, da espandere nel corso del tempo.



Cloud Software

Leave a Reply

Your email address will not be published. Required fields are marked *

Proudly powered by WordPress | Theme: Hike Blog by Crimson Themes.