Il Garante privacy ha sanzionato per 5milioni di euro la società statunitense Luka Inc. che gestisce il chatbot “Replika” e ha avviato una istruttoria autonoma per verificare il corretto trattamento dei dati personali effettuato dal sistema di intelligenza artificiale generativa alla base del servizio offerto dall’azienda statunitense.

Cos’è “Replika”

“Replika” è un’applicazione di intelligenza artificiale sviluppata da Luka Inc., una startup con sede a San Francisco fondata da Eugenia Kuyda. Lanciata nel 2017, Replika consente agli utenti di creare un “compagno virtuale” personalizzato con cui interagire tramite testo o voce, offrendo supporto emotivo e compagnia. L’app è disponibile su iOS, Android e Oculus Rift, e adotta un modello freemium, con funzionalità aggiuntive accessibili tramite abbonamento.

L’idea è nata dall’esperienza personale di Kuyda, che ha trasformato i messaggi di un suo amico scomparso in un chatbot per elaborare il lutto. Questo progetto si è evoluto in un’applicazione che mira a fornire un supporto emotivo attraverso interazioni personalizzate.

Il programma permette agli utenti di scegliere il tipo di relazione desiderata con il proprio avatar AI, che può essere un amico, partner romantico, mentore o confidente. L’app si adatta alle preferenze dell’utente, offrendo conversazioni che possono spaziare dal supporto emotivo alla semplice compagnia.

Controversie e questioni legali

Nel febbraio 2023, il Garante per la protezione dei dati personali italiano aveva già contestato l’azienda, ordinando a “Replika” di sospendere le operazioni in Italia, citando rischi per i minori e la mancanza di un sistema efficace di verifica dell’età.

Nel corso di questa istruttoria il Garante ha accertato la violazione delle disposizioni contestate già nel febbraio 2023, quando aveva disposto il blocco dell’applicazione.

Secondo il Garante, infatti, la società statunitense non aveva individuato, alla data del 2 febbraio 2023, le basi giuridiche delle operazioni di trattamento effettuate attraverso “Replika”. Luka inc., inoltre, aveva fornito una privacy policy inadeguata sotto diversi profili.

Le sanzioni inflitte dal Garante

Il Garante ha accertato infine che, alla data del 2 febbraio 2023, la società non prevedeva alcun meccanismo per la verifica dell’età degli utenti né all’atto della registrazione al servizio, né durante il suo utilizzo. Questo nonostante la società dichiarasse di escludere i minorenni tra i potenziali utenti. Dagli ultimi accertamenti tecnici effettuati dal Garante è emerso che il sistema di verifica dell’età attualmente implementato dal titolare continua ad essere carente sotto molteplici aspetti.

Per tali ragioni, oltre al provvedimento sanzionatorio, l’Autorità ha ingiunto alla società di conformare i trattamenti alle disposizioni del Regolamento.

Nella richiesta di informazioni che ha dato avvio alla nuova istruttoria, il Garante ha chiesto a Luka inc. dei chiarimenti in merito ai trattamenti dei dati relativi all’intero ciclo di vita del sistema di AI generativa sotteso al programma Replika.

In particolare sono stati richiesti chiarimenti riguardo:

• la valutazione dei rischi e le misure adottate per tutelare i dati nelle varie fasi di sviluppo e addestramento del modello linguistico alla base di Replika;
• le tipologie e categorie di dati utilizzati;
• l’eventuale implementazione di misure di anonimizzazione o pseudonimizzazione.