Non siamo Immuni!

L’efficacia dell’app Immuni al 23 gennaio 2021 è inferiore allo 0.1%.

Uso Immuni dal primo giorno in cui è stata pubblicata (1/6/2020) e ne ho sempre consigliato l’utilizzo. Resto convinto, malgrado tutto, che le app di tracciamento possano dare un contributo fondamentale al contenimento epidemico, offrendo dati fondamentali per comprendere le dinamiche del contagio e per adottare misure tempestive e mirate. Ritengo scellerato non usarle.

A 8 mesi dal lancio di Immuni, provo a stimarne l’efficacia sulla base dei dati pubblicati dal Ministero della Salute sul portale dedicato al Covid e sulla dashboard dell’app.

Cosa intendo per efficacia

Immuni si basa sul servizio di Exposure notification sviluppato congiuntamente da Google e Apple sul protocollo Bluetooth Low Energy.

Per le finalità di questa breve riflessione non ci interessano i dettagli del sistema di tracciamento, ma è necessario ricordare che si tratta di applicazioni mobili installate sugli smartphone degli utenti, che si scambiano pseudonimi cifrati quando gli smartphone sono vicini e li conservano per poterli confrontare in caso di notifica. Quando due persone si incontrano, i loro smartphone si scambiano pseudonimi solo se entrambe hanno l’app installata e attiva al momento dell’incontro.

Ipotesi di lavoro. In questo articolo assumo che il servizio di Exposure notification sia così ben tarato da comportare lo scambio degli pseudonimi tra gli smartphone degli utenti in tutte e sole le circostanze in cui gli utenti stessi hanno contatti ritenuti rilevanti ai fini della trasmissione del virus. Questo significa che se l’utente A è risultato positivo e l’utente B è stato esposto al rischio di contagio da A, gli smartphone di A e di B si sono correttamente scambiati gli pseudonimi. Se invece A e B non si sono mai incontrati o lo hanno fatto per un tempo ritenuto irrilevante o a una distanza ritenuta di sicurezza, i loro smartphone non si sono scambiati pseudonimi. E’ un’ipotesi ottimistica, ma per le conclusioni a cui giungeremo vale la pena di spendere qui la nostra dose di ottimismo.

Se un utente (come A) risulta positivo a un tampone molecolare, l’operatore sanitario che gli comunica l’esito del tampone può (e dovrebbe) sbloccare la funzione di notifica di positività dell’app dell’utente, che a questo punto può (e dovrebbe) lanciare la notifica anonima, che potrà essere ricevuta da tutti e soli gli utenti (B) che sono stati esposti al contagio. Nel gergo di Immuni, questa operazione viene detta “caricamento delle chiavi”.

Chiamo efficacia del sistema di tracciamento la percentuale di possibili contatti che il sistema consente di rilevare. In termini probabilistici, l’efficacia è la probabilità condizionata di rilevare un contatto, dato che il contatto c’è stato. In altre parole, se due persone A e B (che ora non chiamo più utenti per contemplare l’ipotesi che non stiano utilizzando l’app) hanno avuto un contatto rilevante ai fini epidemiologici, qual è la probabilità che questo contatto possa essere efficacemente gestito da Immuni al fine dell’eventuale notifica di esposizione?

Se tutti utilizzassero sempre e correttamente l’applicazione, e questa funzionasse perfettamente, A e B potrebbero essere chiamati utenti e l’efficacia (nelle ipotesi ottimistiche di cui sopra) sarebbe 1 (ovvero il 100%): ogni contatto potrebbe sarebbe notificato, se rilevante ai fini epidemici.

Da cosa dipende l’efficacia?

Prima di tutto l’efficacia dipende dal tasso di effettivo utilizzo dell’applicazione da parte degli utenti. Se l’app fosse usata solo dal 50% dei nuovi positivi e dal 30% degli utenti suscettibili, la probabilità di efficace notifica si ridurrebbe a 0.5*0.3 = 0.15 (passerebbe cioè dal 100% al 15%!). Poiché nuovi positivi e suscettibili appartengono alla stessa popolazione, nel nostro modello useremo lo stesso tasso di utilizzo, che quindi va moltiplicato per se stesso per stimare l’efficacia.

Il tasso di utilizzo a sua volta dipende da due fattori: la percentuale di utenti che ha scaricato l’applicazione (per Immuni il dato è disponibile sulla dashboard del sito) e la percentuale degli utenti che, avendola scaricata, la utilizzano effettivamente. Indichiamo con p_d la probabilità di download e con p_u la probabilità che chi ha scaricato l’app la utilizzi davvero.

C’è poi un terzo fattore, che rappresenta la percentuale di nuovi positivi che, avendo l’app, attiva il meccanismo di notifica, che richiede l’intervento sia dell’utente stesso, che dell’operatore sanitario che gli consegna il risultato del tampone positivo. Indichiamo con p_n la probabilità di notifica di positività da parte di utenti effettivi dell’app. Ogni operatore sanitario che non sblocca l’app e ogni utente che decide di non lanciare la notifica (caricare le chiavi) concorrono ad abbassare il valore di p_n.

Il modello

Per descrivere l’effetto di p_d, p_u e p_n sull’efficacia di un’app di tracciamento assegno ai parametri valori molto superiori a quelli di Immuni, in modo da poterne illustrare graficamente il significato su un esempio molto semplice, sul quale i valori effettivi risulterebbero invisibili. Nelle figure che troverete qui sotto, l’efficacia sarà rappresentata graficamente dal numero di pallini rossi (sui 100 totali).

Immaginiamo un’app di tracciamento scaricata dal 40% della popolazione (p_d = 0.4) e osserviamo un campione di 10 persone risultate positive al Coronavirus (rappresentate da 10 cerchietti in verticale) e di 10 persone suscettibili di contagio (rappresentate da cerchietti orizzontali). I cerchietti gialli rappresentano gli utenti dell’app (4 su 10 in entrambi i gruppi). Consideriamo i due gruppi di utenti come righe e colonne di una matrice che rappresenta i 100 possibili contatti reciproci. Come mostra il primo schema in figura, in alto a sinistra, solo 16 dei 100 possibili contatti potrebbero essere tracciati dall’app: 0.4 * 0.4 = 0.16. Dei due fattori che compaiono in questa formula (tra loro interscambiabili) possiamo considerare che il primo esprima la probabilità che la notifica venga lanciata, il secondo la probabilità che la notifica lanciata raggiunga chi deve essere avvisato.

Ma se il 50% degli utenti risultati positivi, per decisione propria o dell’operatore sanitario, evitasse di notificare la positività (p_n = 0.5), il numero di contatti tracciabili scenderebbe a 8 su 100, ottenuto da: (0.4*0.5) * 0.4 = 0.08 (schema in alto a destra). In pratica, si dimezzerebbe la probabilità che la notifica venisse lanciata, ma resterebbe invariata la probabilità che, una volta lanciata, la notifica raggiungesse i contatti da allertare.

Se invece scendesse al 50% la percentuale degli utenti che, scaricata l’app, la utilizzano davvero (p_u = 0.5), allora il numero di contatti effettivamente tracciabili si ridurrebbe a 4 su 100, dato da (0.4*0.5) * (0.4*0.5) = 0.04 (schema in basso a sinistra). Infatti, si dimezzerebbero sia la probabilità di lancio della notifica, sia la probabilità di ricezione delle notifiche lanciate.

Combinando l’effetto di p_n = 0.5 e p_u = 0.5, i contatti effettivamente tracciabili si ridurrebbero a 2 su 100, dato da (0.4*0.5*0.5) * (0.4*05) = 0.02 (schema in basso a destra). In pratica, la probabilità che la notifica venga lanciata risente di entrambe le cause, la probabilità che la notifica, una volta lanciata, raggiunga chi di dovere, risente solo del tasso di utilizzo.

Per correttezza diciamo anche che le probabilità di cui stiamo parlando sono probabilità condizionate, per le quali valgono le regole di composizione utilizzate nel modello.

I dati al 23 gennaio 2021

Ad oggi, l’app Immuni è stata scaricata poco più di 10 milioni di volte. Rapportato alla popolazione italiana il dato corrisponde ad un tasso di download del 17% (nel nostro modello p_d = 0.17). Se tutti gli utenti che hanno scaricato l’app la stessero effettivamente utilizzando e, se positivi, attivassero la notifica, l’efficacia di Immuni sarebbe di poco inferiore al 3% (ottenuta moltiplicando 0.17 x 0.17). Vale a dire che solo il 3% delle effettive esposizioni potrebbero essere notificate dall’app. Se la probabilità vi sembra bassa (e lo è) dovete sapere che si tratta solo del limite teorico di efficacia, che potrebbe essere raggiunto solo se tutte le persone che hanno scaricato l’app ne facessero un corretto e costante utilizzo e se per ogni utente trovato positivo si attivasse il meccanismo di segnalazione.

Al 23 gennaio, i casi accertati in Italia dall’inizio della pandemia sono stati 2.455.185. In teoria, il 17% di questi avrebbe dovuto avere Immuni, ma poiché l’applicazione è stata distribuita solo in giugno, a diversi mesi dall’inizio della diffusione del virus in Italia, per stimare l’efficacia dell’app è più corretto guardare al presente. Nell’ultima settimana (16–22 gennaio) in Italia i nuovi positivi sono stati mediamente 12.350 al giorno. Il 17% di 12.350 corrisponde a circa 2.100 persone. E’ questo il numero atteso di persone che ogni giorno dovrebbero aver attivato il meccanismo di notifica, con il caricamento delle cosiddette chiavi. Mediamente, le nuove chiavi caricate su Immuni nello stesso periodo sono state invece 73 al giorno, meno dello 0.6% dei nuovi casi.

Come si è passati dal 17% di download allo 0.6% di effettivi utilizzi? Per effetto degli altri due fattori: il mancato utilizzo dell’app da parte degli utenti che l’hanno scaricata (p_u < 1) e la mancata notifica di nuovi positivi (p_n < 1), per scelta dell’utente o per mancato sblocco della funzione di notifica da parte degli operatori sanitari.

Riprendiamo in mano il nostro modello sapendo che l’effetto combinato dei due fattori riduce il rapporto tra notifiche lanciate e nuovi positivi dal 17% (valore atteso in base al numero di download) allo 0.6% (ottenuto incrociando i dati di Immuni e del Ministero della Sanità). In formule, 0.17*p_u*p_n=0.006, che indica:

p_u*p_n = 0.035

Non sapendo quanto incida p_u e quanto p_n, consideriamo due casi estremi.

Primo caso estremo. Consideriamo per primo il caso in cui il mancato tracciamento sia sempre e solo dovuto al mancato caricamento delle chiavi al momento del tampone. In altre parole: p_n = 0.035 e p_u = 1. Ricordando che p_d = 0.17, saremmo nella situazione rappresentata in alto a destra in figura e l’efficacia dell’app nel tracciamento dei contatti sarebbe dello 0.1%:

0.17*0.035 * 0.17 = 0,001

Secondo caso estremo. Il secondo caso è quello in cui il mancato tracciamento sia sempre e solo da attribuire al mancato utilizzo dell’app da parte di chi l’ha scaricata, mentre operatori sanitari e utenti positivi farebbero sempre partire le notifiche in caso di effettivo utilizzo: p_n = 1 e p_u = 0.035. Saremmo nella situazione rappresentata in basso a sinistra e l’efficacia, calcolata con p_d = 0.17, risulterebbe dello 0.0035%:

0.17*0.035 * 0.17*0.035 = 0,000035

Tutti i casi intermedi più realistici, corrispondenti allo scenario rappresentato in basso a destra, distribuirebbero tra p_n e p_u la responsabilità della mancata notifica e porterebbero a tassi di efficacia compresi tra i due estremi. Questo grafico illustra l’andamento dell’efficacia, per p_d=0.17, per tutti i possibili valori di p_n e p_u. Il pallino rosso corrisponde al primo caso estremo, il pallino giallo al secondo caso estremo, la curva rossa rappresenta tutte le combinazioni compatibili con i dati pubblicati dal Ministero della Salute.

Possiamo pertanto affermare che il tasso di efficacia di Immuni nel tracciamento dei contatti è compreso tra lo 0.0035% e lo 0.1%.

Questo dato trova conferma nel numero di notifiche che hanno effettivamente raggiunto gli utenti suscettibili, che nell’ultima settimana è stato di sole 106 al giorno (dato ottenuto moltiplicando per due la media dei dati pubblicati sul sito di Immuni, per compensare l’errore di rilevazione segnalato sul sito stesso nella nota che recita: *** Notifiche di possibile esposizione al rischio generate dall’applicazione. La rilevazione è parziale poiché vengono rilevate tutte le notifiche per i dispositivi iOS e solamente un terzo di quelle inviate da Android che hanno a disposizione la tecnologia necessaria per rilevarle in modo sicuro.)

Di chi è la colpa?

La colpa è di (quasi) tutti. Lo dice chiaramente il modello, ma ci torneremo.