Errori Statistici #4: valutare la concordanza tra metodi usando il coefficiente di correlazione

Come ti spiegavo in un articolo precedente, mi capita spesso di dover valutare la concordanza tra metodi diversi nel misurare i livelli di un certo analita.

Tradotto: abbiamo un metodo A e un metodo B, e vogliamo capire se i due strumenti sono concordanti e, perciò, se uno può essere utilizzato al posto dell’altro indistintamente.

Ho scritto metodi diversi, ma avrei potuto anche dire “strumenti” o “operatori” diversi.

Qual è l’errore di cui parleremo in questo post?

L’errore, uno dei più classici che mi capita di vedere come reviewer (o semplicemente come lettore di articoli scientifici) sta nell’uso del coefficiente di correlazione per valutare, appunto, quanto il “metodo/strumento/operatore A” sono concordanti nell’effettuare una misura rispetto al “metodo/strumento/operatore B”.

Un esempio banale che mi è capitato di recente è il seguente: stimare la concordanza di due strumenti di chimica clinica nel misurare la ferritina nel sangue.

Il limite tollerato di discrepanza (bias) tra i due strumenti era 1,5 microgrammi/litro.

L’analisi era stata fatta precedentemente da un medico e un tecnico di laboratorio, ma qualcosa non tornava nei loro conti.

Cosa avevano fatto questi due mattacchioni in camice bianco?
Avevano preso un tot di provette e misurato la ferritina prima con lo strumento A e poi con lo strumento B.
E fin qua non ci sarebbe stato niente di male.

Il problema grosso è che poi, in buona fede, essi avevano fatto un bellissimo scatter-plot dei valori e calcolato il coefficiente di correlazione di Pearson; avevano visto che il coefficiente di correlazione era alto  e stabilito che vi fosse agreement, concordanza tra i due metodi, senza nemmeno considerare il limite tollerato di 1.5.

Errore: non è così che si interpreta la concordanza tra due stimatori attraverso la correlazione.
Vediamo perché.

Prendiamo l’immagine qua sotto e facciamo finta di essere nella condizione del nostro medico e del nostro tecnico di laboratorio che misurano i livelli di ferritina con i loro due strumenti, A e B.

Nell’ immagine puoi vedere 3 casi comuni di analisi di concordanza con i relativi scatter-plot.

Caso #1,  scatter-plot rosso in alto

E’ evidente che in questo caso vi è una buona correlazione ma questo non vuol dire che vi sia concordanza tra i metodi.

Perchè? Perchè l’intercetta (il punto in cui la linea che modellizza la correlazione interseca l’asse Y) è diversa da zero. E questa intercetta indica lo scostamento sistematico tra i due metodi, il cosiddetto “bias”. Chiamiamola volgarmente la differenza media tra le misure dello strumento A e la misura dello strumento B.

In questo caso il bias è di più di due unità di misura. Nel nostro caso, avendo stabilito 1.5 microgrammi/litro come limite massimo di tolleranza, siamo al di fuori di una concordanza accettabile.

In termini pratici, guardando il grafico, quando lo strumento A rileva 0 (“zero”) di ferritina, lo strumento B rileva più di 2. Oppure, consideriamo il dato cerchiato di rosso; in questo caso lo strumento A rileva poco meno di 6, mentre lo stesso campione analizzato con lo strumento B ci dice più di 8.
Bias eccessivo, non c’è concordanza; mi spiace ragazzi, non si possono usare indistintamente i due strumenti.

Caso #2, scatter-plot blu in basso

In questo caso la retta passa dall’origine ma ancora non basta. Il problema è la pendenza. Quando la pendenza della retta è diversa da 1, vuol dire che c’è una differenza tra i risultati prodotti dai due strumenti che dipende dal valore vero che stiamo stimando.

Verifica con i tuoi occhi: più è alto il valore di ferritina stimata con A, maggiore è la differenza con il valore stimato con B.
Anche in questo caso, niente concordanza.

Caso #3, scatter-plot verde

Finalmente qua ci siamo. In questo caso sono rispettati tutti e due criteri necessari a parlare di concordanza:

• la retta passa per l’origine degli assi, indicando che non c’è un bias sistematico tra i due strumenti;
• la retta ha pendenza uguale a 1 (cioè è inclinata di 45 gradi) e ci dice che non c’è una proporzionalità della concordanza con il valore dell’analita.

L’ultimo criterio, che sto dando per scontato, ma che è necessario per parlare di concordanza, è ovviamente la correlazione dei dati. Uno scatter-plot potrebbe tranquillamente avere una retta passante per l’origine ed una pendenza uguale a 1 ma avere un indice di correlazione molto basso. Vedi ad esempio lo scatterplot sotto.

Domanda legittima: come facciamo a testare tutte queste 3 condizioni?

Esistono diversi metodi che testano questi criteri.
3 nomi su tutti che ti conviene conoscere:

• regressione di Passing Bablock;
• grafico di Bland-Altman;
• coefficiente di correlazione di Lin.

Non potendo parlarne in questo post (altrimenti diventerebbe di una lunghezza raccapricciante) dedicherò in futuro a ciascuno di essi articoli ad hoc.

Ciao! Gianfranco