Deepfake, un’arma puntata contro l’umanità

La tecnologia utilizzata per la creazione dei deepfake ricorre a tecniche di deep learning per manipolare contenuti audio o audiovisivi preesistenti o per crearne di nuovi. Pur avendo alcuni scopi benigni, come la satira e il gioco, è sempre più utilizzata da soggetti malintenzionati per scopi illeciti. 

Una ricerca, condotta nel 2020, ha rivelato che il 72% delle persone non è ancora al corrente dell’esistenza dei deepfake, questo dato deve far riflettere su quanto siamo esposti alla minaccia.

I deepfake vengono utilizzati per creare una falsa narrazione che sembra provenire da fonti attendibili. Ci sono due principali minacce che possono derivare dall’utilizzo dei deepfake. La prima riguarda la società civile, poiché la disinformazione diffusa attraverso i deepfake può essere utilizzata per manipolare l’opinione pubblica e influenzare i risultati elettorali. La seconda minaccia riguarda gli individui e le organizzazioni, che possono essere oggetto di attacchi finalizzati a ottenere un guadagno finanziario.

Se non controllata, la diffusione di deepfake può avere conseguenze negative sulla società, poiché l’intera popolazione potrebbe essere influenzata da campagne di disinformazione mirate a distorcere la realtà degli eventi. Questo può portare le persone a non essere in grado di distinguere la verità dalla menzogna, il che, a sua volta, può minare la fiducia nella società e nei suoi leader.

Una minaccia per il business

L’utilizzo di deepfake rappresenta una minaccia per la sicurezza informatica delle aziende, in quanto può aumentare l’efficacia degli attacchi di phishing e Business Email Compromise, semplificare i furti di identità e manipolare la reputazione di organizzazioni, portando ad un crollo ingiustificato del valore delle azioni.

Ciò significa che le aziende devono essere particolarmente attente e, per difendersi, dovrebbero adottare misure di sicurezza adeguate, come l’implementazione di protocolli di autenticazione robusti e la formazione dei dipendenti su come identificare e prevenire gli attacchi di phishing. Inoltre, dovrebbero monitorare regolarmente la propria reputazione online e agire rapidamente per prevenire o minimizzare eventuali danni causati dall’utilizzo dei deepfake.

La tecnologia

Per creare un deepfake, viene utilizzata una rete neurale che analizza i modelli necessari per produrre audiovisivi credibili. L’algoritmo di auto apprendimento viene sviluppato sulla base di questi modelli. Come accade con ogni forma di apprendimento automatico, l’ampiezza del set di dati utilizzati per l’addestramento è un fattore chiave: maggiore è il loro numero, maggiore sarà la precisione dell’algoritmo.

Oggi esistono grandi set di dati di addestramento per deepfake, disponibili gratuitamente su Internet. Questi dati rappresentano una miniera d’oro per gli sviluppatori, poiché possono utilizzarli per migliorare la qualità dei loro algoritmi. Tuttavia, l’accesso ad essi, può anche rappresentare una minaccia per la sicurezza, poiché possono essere utilizzati da malintenzionati per creare deepfake a scopi malevoli.

Ci sono due sviluppi recenti che hanno aumentato sia la qualità che la minaccia dei deepfake. Il primo riguarda l’utilizzo delle reti generative antagoniste (GAN). Questo tipo di rete neurale è composta da due modelli: uno generativo e uno discriminante. Il modello discriminante testa continuamente il modello generativo rispetto ad un set di dati originale. I modelli migliorano continuamente fino a quando il contenuto generato ha la stessa probabilità di provenire dal modello generativo come i dati di addestramento. In questo modo, si può generare un’immagine falsa di alta qualità che, ad occhio nudo, risulta difficile da distinguere da una immagine vera, e che può essere utilizzata per scopi illeciti da parte di malintenzionati.

Il secondo sviluppo riguarda l’uso della tecnologia deep learning che consente di elaborare dati più complessi e di creare deepfake audio e video sempre più realistici. Questa tecnologia è particolarmente pericolosa perché può essere utilizzata per creare falsi audiovisivi di personaggi pubblici, politici e di altre figure di rilievo, aumentando il rischio di diffondere disinformazione e destabilizzazione.

Minacce alla sicurezza informatica e non solo

Anche se pochi criminali possiedono le competenze necessarie per sviluppare e utilizzare deepfake convincenti, ciò non impedisce il loro impiego futuro. Inoltre, l’evoluzione continua del crime-as-a-service (CaaS) potrebbe portare all’automazione di crimini come l’hacking, l’apprendimento automatico del contraddittorio (Adversarial Machine Learning) e i deepfake.

Le minacce rappresentate dai deepfake possono essere suddivise in quattro categorie principali: sociali, legali, personali e di cyber sicurezza. Nel primo caso, i deepfake possono alimentare disordini sociali e polarizzazione politica. Invece, nella seconda categoria, i deepfake possono essere utilizzati per falsificare le prove elettroniche, mentre, nella terza categoria, possono causare molestie, bullismo, pornografia non consensuale e sfruttamento minorile online. Infine, la quarta categoria si riferisce alla cybersicurezza, nel cui dominio, i deepfake possono essere utilizzati per compiere estorsioni, frodi e manipolazioni dei mercati finanziari.

I passaporti con fotografie deepfake saranno molto difficili da rilevare e, di conseguenza, potrebbero essere utilizzati per facilitare molteplici crimini, tra cui furto di identità, tratta di esseri umani, immigrazione illegale e traffici di droghe e merci. I deepfake che mostrano attività imbarazzanti o illegali potrebbero essere utilizzati per ricattare le vittime. Il phishing potrebbe raggiungere nuovi livelli, includendo nell’inganno video o audio di amici fidati. Gli attacchi BEC potrebbero essere supportati da messaggi audiovisivi, in modo da sembrare provenienti da soggetti reali.

Un’altra minaccia è rappresentata dall’avvento della tecnologia 5G e dalla potenza di calcolo del cloud, che consente di manipolare i flussi video in tempo reale. Questo significa che le tecnologie deepfake possono essere utilizzate in diverse situazioni, ad esempio, in contesti di videoconferenza, servizi video in live streaming e televisivi. In questo modo, i potenziali danni derivanti dall’utilizzo di deepfake possono aumentare ulteriormente, poiché i video manipolati possono essere trasmessi in diretta e diffusi in modo rapido e massivo, con il rischio di creare confusione e disinformazione su larga scala.

La manipolazione dei mercati sta diventando più redditizia per i criminali, rispetto al ransomware. Attualmente, lo scopo viene raggiunto attraverso l’utilizzo di informazioni rubate, consentendo ai criminali di sfruttare ciò che equivale a insider trading. I deepfake offriranno ai malfattori un’opzione ancora più diretta. Attraverso la creazione di informazioni false, rivelazioni imbarazzanti, accuse di azioni illegali, potrebbero causare un improvviso crollo del valore azionario di una società. Gruppi criminali con ingenti risorse finanziarie o, addirittura, stati canaglia che cercano di eludere le sanzioni, potrebbero acquistare azioni a basso costo per trarne beneficio quando il valore inevitabilmente risale.

Insomma, la sicurezza si basa sulla fiducia e i deepfake possono minarla portando ad esiti davvero negativi.

Rilevamento dei deepfake

Attualmente, la qualità dei deepfake supera la capacità dell’occhio umano di rilevare contraffazioni. Sebbene una soluzione parziale possa essere rappresentata dal ricorso al principio della provenienza del materiale originale, ciò potrebbe essere più utile per le forze dell’ordine, attente ad impedire l’uso dei deepfake nei procedimenti penali, ma potrebbe essere meno efficace nel prevenire il crimine informatico.

Fortunatamente, la tecnologia offre un altro potenziale metodo per contrastare i deepfake: Il rilevamento di segnali biologici basati sulle imperfezioni nei cambiamenti naturali del tono della pelle causati dal flusso sanguigno, discrepanze fonema-visema (cioè una correlazione imperfetta nella corrispondenza tra parola e movimenti della bocca), movenze facciali in cui i movimenti del viso e della testa non sono correttamente correlati, e modelli convoluzionali ricorrenti, che cercano incongruenze tra i singoli fotogrammi che compongono un video.

Discernere i falsi è una questione di dettagli

Ci sono diverse difficoltà da considerare riguardo ai deepfake. Una leggera variazione al malware può ingannare i motori di rilevamento delle firme del malware, allo stesso modo, un’alterazione del metodo utilizzato per generare un deepfake potrebbe eludere il rilevamento esistente. Un esempio di ciò potrebbe essere l’aggiornamento del modello discriminatorio all’interno del GAN usato per produrre il deepfake. Inoltre, la compressione del video potrebbe ridurre il numero di pixel disponibili per l’algoritmo di rilevamento, causando ulteriori problemi.

Evitare i deepfake potrebbe essere più efficace che cercare di individuarli. Suggeriamo qualche metodo di rilevamento.

La prima raccomandazione è quella di affidarsi a sistemi di autorizzazione audiovisivi piuttosto che solo audio. Questa soluzione potrebbe funzionare a breve termine, finché la tecnologia deepfake, la potenza di calcolo del cloud e la larghezza di banda 5G non renderanno inefficace questa soluzione. Inoltre, questi sviluppi potrebbero anche annullare la seconda raccomandazione, ovvero richiedere una connessione video in diretta.

E anche ipotizzabile l’impiego di forme evolute di captcha per prevenire i deepfake. Ad esempio, richiedere che movimenti casuali vengano eseguiti dal vivo davanti alla telecamera, come spostare le mani sul viso.

Quando si cerca di determinare se un’immagine, un video o un audio sono falsi, i seguenti dettagli possono fare la differenza:

Video/immagine

• Sfocatura evidente del volto, non riscontrata in zone diverse dell’immagine o del video (vale anche il contrario)
• Un cambiamento di tono della pelle vicino al bordo del viso
• Doppi menti, doppie sopracciglia o doppi bordi al viso
• Il viso diventa sfocato quando è parzialmente oscurato da una mano o da un altro oggetto
• Sezioni di qualità inferiore nello stesso video
• Forme simili a quadrati ed effetti di ritaglio intorno alla bocca, agli occhi e al collo
• Lampeggiamento o mancanza di battito delle palpebre, movimenti che non sono naturali
• Cambiamenti nello sfondo e/o nell’illuminazione
• Indizi contestuali. La scena di sfondo è coerente con il primo piano e il soggetto?

Audio

• Frasi instabili
• Variazione dell’inflessione del tono nel discorso
• Fraseggio. L’oratore pronuncerebbe le parole in questo modo?
• Contesto del messaggio. È rilevante in base ad una discussione recente o risponde a domande correlate?
• Indizi contestuali: i suoni di sottofondo sono coerenti con la presunta posizione dell’oratore?

Lo stato dell’arte

Attualmente, la tecnologia di produzione di deepfake sta migliorando più velocemente della tecnologia di rilevamento, il che rappresenta una minaccia sia per la società che per le aziende.

Per quanto riguarda l’aspetto sociale, gli esperti temono che si possa arrivare a uno scenario in cui i cittadini non condivideranno più una realtà comune, generando confusione circa l’affidabilità delle fonti. Questo fenomeno viene talvolta definito come “apocalisse dell’informazione” o “apatia della realtà“.

Le aziende sono in una posizione leggermente migliore, in quanto hanno facoltà di decidere in merito all’accettazione o rifiuto di contenuti audiovisivi. Inoltre, potrebbero puntare sulle comunicazioni machine-to-machine piuttosto che da persona a persona e utilizzare i principi zero-trust per verificare il proprietario della macchina invece che della comunicazione.

la situazione diventa particolarmente difficile quando i deepfake vengono utilizzati per manipolare il crollo del valore delle azioni di una società. Questo processo è ulteriormente complicato dalla tendenza umana a credere ai contenuti audiovisivi e a prospettive di verità predefinite. È improbabile che il pubblico creda immediatamente all’insistenza dell’azienda sul fatto che si tratti solo di notizie false, almeno non in tempo per prevenire il crollo delle azioni.

I deepfake apriranno scenari più rischiosi con lo sviluppo tecnologico dei prossimi anni.

Si tratta di una minaccia reale ed attuale

Da minaccia ipotetica e proof-of-concept, gli attacchi deepfake sono passati alla fase in cui i criminali sono in grado di utilizzare tali tecnologie senza approfondite conoscenze.

Un recente studio sull’utilizzo e l’abuso dei deepfake da parte dei criminal hacker, rivela che tutti i fattori necessari per una diffusa adozione della tecnologia sono già presenti e facilmente accessibili sui mercati underground e i forum specializzati. Numerosi attacchi di phishing, frodi via e-mail aziendali e truffe, sono già in corso e stanno rapidamente influenzando il panorama delle minacce informatiche.

I deepfake sono già impiegati in attacchi contro istituzioni finanziarie, truffe e tentativi di impersonare politici. Ciò che è spaventoso è che molti di questi attacchi utilizzano identità di persone reali, spesso ricavate da contenuti pubblicati sui social media.

La minaccia è aggravata dalla disponibilità in rete di strumenti, immagini e video per la generazione di deepfake.

Ad esempio, diversi siti web, incluso GitHub, offrono codice sorgente per lo sviluppo di deepfake a chiunque desideri cimentarsi. Al tempo stesso, sono disponibili abbastanza immagini e video di alta qualità di individui comuni e personaggi pubblici, da permettere ai malintenzionati di creare identità false o di impersonare politici, imprenditori e altre personalità celebri.

In molti gruppi di discussione, gli utenti si confrontano attivamente circa i metodi di utilizzo dei deepfake, per aggirare i controlli bancari e di verifica degli account, in particolare quelli che coinvolgono video e metodi di verifica de visu.

Una pletora di rischi

C’è anche un rischio crescente che identità rubate o generate, appartenenti a persone comuni, vengano utilizzate per frodare le vittime impersonate o per condurre attività illecite sotto le loro identità.

Ad esempio, i criminali potrebbero rubare l’identità di una vittima e utilizzare un video deepfake che li rappresenta per aprire conti bancari, che potrebbero essere successivamente utilizzati per attività di riciclaggio di denaro. Allo stesso modo possono dirottare account, impersonare dirigenti di alto livello presso organizzazioni per avviare trasferimenti di denaro fraudolenti o costruire prove false a fini di estorsione.

Dispositivi come Alexa di Amazon e iPhone, che utilizzano il riconoscimento vocale o facciale, potrebbero presto essere nell’elenco dei dispositivi target per atti offensivi basati su deepfake.

Esempi di attacchi deepfake già testimoniati, includono chiamate vocali di CEO a dei CFO, che hanno causato bonifici bancari ai malfattori, nonché false chiamate di dipendenti ai settori IT, per attuare reimpostazioni di password non desiderate dalla vittima.

Mitigazioni scarse e preoccupanti prospettive

In generale, questi tipi di attacchi possono essere efficaci, perché non sono ancora disponibili soluzioni tecnologiche per affrontare la sfida.

Lo sviluppo di tecnologie come le Generative Adversarial Networks (GAN) basate sul deep learning, hanno reso più difficile il rilevamento dei deepfake. Ciò significa che non possiamo fare affidamento su contenuti audiovisivi perché non siamo in grado di discernere alterazioni e artefatti.

Dato il crescente impiego di tecniche sofisticate nella creazione di deepfake, questi rappresenteranno, ancora per molto, una delle maggiori minacce di truffe e frodi ai danni delle organizzazioni.

La ricerca di nuove tecnologie di riconoscimento e autenticazione, la promozione di una maggiore alfabetizzazione digitale per gli utenti e la cooperazione internazionale, sono tra le iniziative promosse per contrastare la produzione e la diffusione di contenuti deepfake dannosi.

Solo attraverso uno sforzo coordinato a livello globale, si possono prevenire gli effetti negativi dei deepfake e garantire un futuro digitale sicuro e affidabile.

Autore: Marco Marra