Human in the loop negli agenti AI: il passaggio che molti saltano perché l'AI sembra troppo credibile

Lunedì mattina, ufficio commerciale di un'azienda metalmeccanica. Da tre settimane un agente AI prepara le prime bozze delle offerte: legge la richiesta del cliente, recupera i listini, calcola i tempi di consegna e compila il documento. All'inizio il responsabile commerciale controllava ogni offerta riga per riga, e andavano tutte bene. Dalla seconda settimana ha cominciato a guardarle di sfuggita. Dalla terza le inviava e basta.
Poi parte un'offerta con quattro settimane di consegna per un particolare che richiede un trattamento esterno. Ne servono sette. L'agente non aveva fatto un errore di scrittura: aveva usato il dato disponibile, un lead time standard che non considerava la lavorazione conto terzi. Il testo era impeccabile e convincente. Era semplicemente sbagliato.
Il problema non è che l'AI abbia sbagliato, perché sbagliano anche le persone. Il problema è che nessuno se n'è accorto, perché l'AI era diventata troppo credibile per essere controllata.
L'errore che non sembra un errore
Quando sbaglia una persona, di solito qualcosa lo fa capire: un'esitazione, una domanda, un "non sono sicuro". Un agente AI non dà questi segnali. Usa lo stesso tono sicuro sia quando ha ragione sia quando sbaglia. Gli errori arrivano ben impaginati, con frasi scorrevoli e numeri precisi al decimale.
È un meccanismo noto: dopo una serie di risultati corretti tendiamo a fidarci dei sistemi automatici più di quanto dovremmo. Il controllo si allenta poco alla volta, finché non c'è più. Nessuno decide di eliminarlo: si consuma da solo.
Per questo lo human in the loop, cioè il punto del processo in cui una persona verifica, decide o approva, non può dipendere dalla buona volontà. Va progettato.
Il Jidoka lo aveva già previsto
Nel Lean questo problema ha un nome da decenni: Jidoka, spesso tradotto come "automazione con tocco umano". L'idea nasce sui telai automatici: la macchina lavora da sola, ma quando rileva un'anomalia, come un filo rotto, si ferma e chiama l'operatore. Non deve continuare a produrre difetti in silenzio.
I suoi principi valgono anche per gli agenti AI:
Separare il lavoro della macchina da quello dell'uomo: l'agente si occupa delle attività ripetitive, la persona interviene dove serve giudizio.
Fermarsi all'anomalia: l'agente deve riconoscere quando non è in grado di procedere e segnalarlo, invece di produrre comunque un risultato.
Rendere visibile il problema: come l'Andon in reparto, serve un segnale chiaro che dica "qui serve una persona".
Risolvere la causa, non solo l'effetto: ogni intervento umano è un'informazione per migliorare il processo, non soltanto una correzione.
Un agente senza questi principi non è automazione intelligente. È una macchina che produce difetti più in fretta.
Chi controlla ogni virgola e chi non controlla niente
Nelle aziende che iniziano a usare gli agenti AI si vedono quasi sempre due atteggiamenti opposti.
C'è chi rilegge tutto: ogni bozza, ogni riga, ogni virgola. L'agente produce in due minuti quello che una persona poi verifica in venti. Il tempo risparmiato è poco o niente, e cresce la sensazione che "con l'AI si fa prima a fare da soli". In termini Lean è uno spreco preciso, la sovra-lavorazione: un controllo che costa più del valore che protegge.
Poi c'è chi non controlla più niente. Le prime risposte erano corrette, quindi ci si fida. Nessuno decide di togliere il controllo: semplicemente sparisce. Qui lo spreco è il più costoso di tutti, il difetto che arriva al cliente, quando correggerlo costa di più e la fiducia ne risente.
Sono due errori opposti con la stessa origine: il controllo non è stato progettato, quindi dipende dal carattere di chi lavora. Il prudente controlla tutto, il fiducioso niente, e nessuno dei due sa davvero dove guardare.
La giusta misura non è controllare metà delle cose. È un criterio: controllare di più dove un errore costa di più, e di meno dove costa poco e si corregge facilmente. In reparto lo sappiamo bene: non si collauda al 100% ogni vite, ma non si spedisce un componente critico senza verifica. Il controllo si distribuisce in base al rischio, non in base all'ansia o alla fretta.
E il livello di controllo non resta fisso. All'inizio si controlla di più, si registrano gli errori e si capisce dove l'agente è affidabile e dove no. Poi, dati alla mano, si allenta il controllo dove l'agente si è dimostrato solido e lo si mantiene dove gli errori continuano a presentarsi. La fiducia nell'agente si costruisce con i dati, non con l'abitudine.
Dove mettere l'uomo nel processo
La domanda da farsi per ogni passaggio è: cosa succede se questo risultato è sbagliato? Alcuni criteri pratici:
Impatto verso l'esterno: offerte, conferme d'ordine, comunicazioni ai clienti e ordini ai fornitori vanno approvati prima dell'invio.
Irreversibilità: un'email inviata, un ordine confermato o un dato sovrascritto non si annullano. Più un'azione è irreversibile, più il controllo va messo prima.
Impegni economici o contrattuali: prezzi, sconti, tempi di consegna, condizioni di pagamento.
Casi fuori standard: una lavorazione speciale, un cliente nuovo, un codice mai visto. Qui l'agente deve fermarsi e chiedere.
Decisioni che riguardano persone: selezione, valutazioni, comunicazioni delicate. L'ultima parola deve restare umana, anche per quanto richiede l'AI Act.
Le attività interne, reversibili e a basso impatto possono invece procedere in automatico con controlli a campione: classificare email, riassumere documenti, preparare bozze per uso interno.
Progettare il controllo, non sperare che avvenga
Tornando all'ufficio commerciale: il controllo c'era, ma dipendeva dall'attenzione del responsabile. Bastava ridisegnare il flusso:
Approvazione esplicita: l'offerta non parte senza un "approvo". Un'occhiata non basta.
Segnalazione dei casi critici: se l'articolo prevede lavorazioni esterne, l'agente non stima la consegna e mette la voce in evidenza come "da verificare".
Fonti dichiarate: accanto a ogni dato l'agente indica da dove l'ha preso (listino, anagrafica, storico), così chi controlla sa dove guardare.
Registro delle correzioni: ogni intervento umano viene annotato e diventa materiale per il miglioramento.
Così il controllo umano smette di essere un costo da ridurre e diventa uno strumento di miglioramento continuo.
Audit degli agenti: controllare anche chi lavora da solo
Lo human in the loop verifica il singolo risultato: questa offerta, questa email, questo ordine. Ma il controllo quotidiano non risponde a un'altra domanda: l'agente, nel suo insieme, lavora ancora come lo abbiamo progettato?
Gli agenti cambiano anche se nessuno li tocca. I listini si aggiornano, arrivano clienti nuovi, il fornitore aggiorna il modello AI, qualcuno ritocca le istruzioni "solo un attimo". Sono piccole derive che, giorno dopo giorno, nessuno nota.
Serve quindi un audit periodico dell'agente, come per i processi in reparto. Chi conosce i Layered Process Audit sa già come funziona: verifiche brevi e regolari, su punti precisi, fatte da persone diverse a livelli diversi. Per un agente AI l'audit dovrebbe guardare almeno:
Un campione di output: si ricontrollano con calma alcuni risultati recenti, anche quelli già approvati, per capire se l'approvazione quotidiana è ancora attenta o è diventata un clic automatico.
Il registro delle correzioni: quante volte le persone sono intervenute, su cosa, e se gli stessi errori si ripetono.
Le segnalazioni di anomalia: l'agente si ferma ancora quando dovrebbe? Se non chiede mai aiuto, non è detto che vada tutto bene: forse ha smesso di riconoscere i casi critici.
I dati di partenza: listini, anagrafiche, lead time e documenti di riferimento sono aggiornati? Un agente perfetto che lavora su dati vecchi produce errori perfetti.
Le istruzioni: chi le ha modificate, quando e perché. Ogni modifica va tracciata come una revisione del lavoro standardizzato.
Permessi e accessi: l'agente può fare solo quello che deve? Accessi in scrittura, invii automatici e collegamenti con altri sistemi vanno rivisti periodicamente.
L'audit non serve a trovare un colpevole. Serve a chiudere il ciclo PDCA: si verifica, si capisce cosa è cambiato, si aggiorna lo standard. Un agente senza audit è come una macchina senza manutenzione programmata: funziona benissimo, finché non smette di funzionare.
Prima il processo, poi l'agente
C'è un punto spesso sottovalutato: si capisce dove mettere l'uomo, e cosa verificare nell'audit, solo se il processo è chiaro. Se nessuno sa con precisione chi decide cosa, quali dati servono e quali sono le eccezioni, l'agente erediterà la stessa confusione, solo più velocemente.
Per questo nei nostri percorsi partiamo dal processo. Nell'AI Process Lab si mappa e si ripulisce il flusso prima di automatizzarlo. Nell'AI Worker si passa dal processo a un agente supervisionato, con i punti di controllo umano progettati fin dall'inizio
La credibilità non è affidabilità
Un agente AI che scrive bene non per questo ha ragione. La sicurezza con cui risponde è una caratteristica del modello, non una garanzia sul risultato.
Il Jidoka ci ricorda che la buona automazione non è quella che non si ferma mai, ma quella che si ferma quando deve e chiama la persona giusta. Lo human in the loop, insieme a un audit regolare, non rallenta l'AI: è ciò che permette di fidarsi davvero.
Vuoi capire dove inserire il controllo umano nei tuoi processi prima di automatizzarli? Scrivici a info@leanbet.eu o chiamaci al 376 2108166.






Commenti