Sono otto casi presi dal libro, riportati come stanno. Leggili come un test: se in almeno due riconosci qualcosa che avete in azienda, il libro ti serve. Se non ne riconosci nessuno, probabilmente no, e preferisco dirtelo adesso.
Caso 1Lo stesso ufficio, due regimi giuridici diversi
La situazioneUn e-commerce ha due strumenti. Il primo è un foglio di calcolo che applica lo sconto: sopra i 10.000 euro di acquisti annui, 8%; cliente da oltre cinque anni, 2% in più. Il secondo è un motore che, addestrato sullo storico degli acquisti, decide quali prodotti mostrare per primi a ciascun cliente.
La domanda del lettoreSono due software commerciali, gestiti dalle stesse persone. Perché dovrebbero avere trattamenti diversi?
L'inizio della rispostaIl primo non è un sistema di IA: ogni regola l'ha scritta una persona, e il file si limita a eseguirla. Il secondo lo è: le sue regole non le ha scritte nessuno, le ha ricavate dai dati. La frase da portare in riunione è una sola: se ogni regola che il sistema applica l'ha scritta una persona, non è un sistema di IA; se il sistema ha ricavato le sue regole dai dati, lo è. Nel libro: il Capitolo III, con i sei elementi della definizione e sette casi risolti uno per uno.
Capitolo III
Caso 2"Il fornitore è americano, non ci riguarda"
La situazioneUna PMI italiana adotta un software di screening dei curriculum sviluppato negli Stati Uniti. Nessuna sede europea, contratto retto dalla legge di uno Stato americano, dati elaborati su server fuori dall'Unione.
La domanda del lettoreSe il fornitore è fuori dall'Europa, di chi è il problema?
L'inizio della rispostaDi entrambi. La PMI è deployer stabilito nell'Unione. La società americana è fornitore, perché l'output del suo sistema, cioè il ranking dei candidati, viene utilizzato nell'Unione: è la lettera c) dell'articolo 2, e non si deroga per contratto. Nel libro questa non è una curiosità giuridica ma una leva negoziale: la frase che sblocca il fornitore extra-UE che ha ignorato le tre email precedenti.
Capitolo III
Caso 3Il logo che cambia tutto
La situazioneUn'azienda mette sul sito del proprio cliente più importante un chatbot comprato da terzi, con sopra il proprio marchio.
La domanda del lettoreL'abbiamo comprato, non costruito. Quindi non è un problema nostro, giusto?
L'inizio della rispostaNon è detto, e il marchio pesa due volte. La prima è nella definizione stessa di fornitore (articolo 3, punto 3): chi mette in servizio un sistema con il proprio nome o marchio ne è fornitore, anche se l'ha fatto sviluppare da altri. Per un chatbot questo vuol dire rispondere in prima persona dell'obbligo di trasparenza dell'articolo 50: chi scrive deve sapere che sta parlando con una macchina. La seconda scatta solo se quel chatbot è ad alto rischio, per esempio perché decide sull'accesso a un servizio essenziale: allora l'articolo 25 lo rende fornitore di un sistema ad alto rischio, con fascicolo tecnico completo, valutazione di conformità, marcatura CE e registrazione in una banca dati europea. Fra le due situazioni passa la differenza fra tre pagine di documentazione e sei mesi di progetto, e la decisione di mettere il logo su un prodotto la prende il marketing, non chi si occupa di conformità. Capitolo IV, con l'albero decisionale dei ruoli e i tre casi di ribaltamento.
Capitolo IV
Caso 4Le duecentocinquanta candidature che non ha visto nessuno
La situazioneUna PMI manifatturiera emiliana riceve trecento candidature per cinque posizioni di operatore CNC. Il software assegna a ogni CV un punteggio di compatibilità e mostra ai selezionatori solo i primi cinquanta.
La domanda del lettoreLa decisione finale la prendiamo noi. Non basta a tenerci fuori dall'alto rischio?
L'inizio della rispostaNo, e la ragione è aritmetica prima che giuridica: le duecentocinquanta candidature scartate non sono mai arrivate a un essere umano. Il sistema ha influenzato materialmente l'esito. È l'area 4 dell'Allegato III. Nel libro c'è il filtro dell'articolo 6(3), cioè le quattro condizioni per uscire dall'alto rischio, e il motivo per cui qui non è percorribile.
Capitolo VII
Caso 5Il software che misura il nervosismo del candidato
La situazioneUn software analizza il video del colloquio e restituisce al selezionatore un punteggio di "engagement" e "nervosismo". Il candidato non è ancora un dipendente: il rapporto di lavoro non esiste.
La domanda del lettoreIl divieto sul riconoscimento delle emozioni riguarda il luogo di lavoro. Un colloquio è luogo di lavoro?
L'inizio della rispostaIl testo non lo dice espressamente, e il libro lo dichiara apertamente invece di far finta di niente. Ma l'interpretazione più solida è che lo sia, anche perché leggere la norma diversamente produrrebbe un risultato paradossale: vietare l'analisi emotiva sul dipendente assunto e consentirla sul candidato, cioè sul soggetto in posizione di massima debolezza contrattuale. E c'è una variante che salva il progetto: se lo strumento valuta il contenuto e la pertinenza delle risposte senza inferire stati emotivi, non ricade nel divieto; resta però un sistema di selezione del personale, cioè alto rischio. Cambia il capitolo, non la necessità di occuparsene.
Capitolo V
Caso 6Una funzione vietata dentro un sistema che vietato non è
La situazioneUna catena retail installa telecamere intelligenti che, oltre a contare i passanti, stimano fascia d'età, genere apparente ed etnia dei clienti, per finalità di marketing e allocazione del personale.
La domanda del lettoreIl sistema è vietato o no?
L'inizio della rispostaLa domanda è mal posta, ed è l'errore più costoso di tutto il capitolo. Il verdetto non si dà "al sistema": si dà a ciascuna funzionalità. La deduzione dell'etnia da dati biometrici è esattamente ciò che il divieto colpisce; la stima di fascia d'età e genere non compare nell'elenco tassativo delle categorie sensibili, e quindi non ricade in quel divieto, ma finisce quasi certamente nell'alto rischio. Dentro lo stesso prodotto convivono un modulo da spegnere e un modulo da documentare. Nel libro c'è anche cosa chiedere contrattualmente al fornitore, e con quale evidenza tecnica.
Capitolo V
Caso 7Il punteggio nato per i turni che finisce in un licenziamento
La situazioneUn'azienda costruisce un punteggio di "affidabilità" di ciascun dipendente, aggiornato mese per mese. Nasce per gestire la rotazione dei turni. Poi decide chi accede alla formazione. Poi diventa criterio in una riduzione di organico.
La domanda del lettoreÈ uno strumento HR interno. Il social scoring è roba da regimi autoritari: cosa c'entriamo noi?
L'inizio della rispostaIl testo della norma non dice "da parte di autorità pubbliche": definisce la fattispecie per struttura, non per soggetto. E la struttura è questa: una classificazione di persone protratta nel tempo, più un trattamento sfavorevole in un contesto diverso da quello in cui i dati sono nati. Finché il punteggio governa i turni, resta nel suo contesto. Quando decide un licenziamento, no. Il libro non spaccia una certezza dove non c'è: la chiama valutazione di rischio e dice esplicitamente che questo è il tipo di caso da mandare a un legale, non da archiviare con un'alzata di spalle. E indica l'esercizio da fare: due colonne, per quale finalità i dati sono stati raccolti e per quali decisioni il punteggio viene usato oggi, perché ogni riga in cui le due divergono è una riga da esaminare.
Capitolo V
Caso 8"È solo statistica, esiste da cinquant'anni"
La situazioneUna regressione logistica apprende dai dati storici quali caratteristiche del cliente predicono l'insolvenza e restituisce uno score. Il modello è in azienda dal 2021 e internamente lo chiamano "statistica".
La domanda del lettoreUna tecnica matura, comprensibile, che sta in venti righe di codice, è davvero "intelligenza artificiale"?
L'inizio della rispostaSì. Il modello ha ricavato i propri pesi dai dati, non da regole scritte da una persona, e produce un output che orienta una decisione su un individuo. Che la tecnica sia vecchia e trasparente non ha alcun rilievo. Anzi: un sistema di valutazione del merito creditizio di persone fisiche è con ogni probabilità anche ad alto rischio, e poiché costruisce un profilo del richiedente, la via d'uscita del filtro non è nemmeno percorribile. Nel libro c'è anche l'eccezione vera, quella delle baseline statistiche elementari, spiegata con il confine esatto oltre il quale smette di valere.
Capitoli III · VI · VII
Sono otto casi su una sessantina. Le risposte cambiano da caso a caso; il percorso per arrivarci è sempre lo stesso, ed è il metodo qui sotto.
