Questo post fa parte di una serie di articoli dedicata agli errori statistici più frequenti che come reviewer, ma anche solo come lettore, mi capita di leggere nella letteratura scientifica.
Trovi le prime due “puntate” della serie qui e qui.
Ma veniamo a noi.
Uno degli aspetti della statistica di cui mi occupo da anni è la statistica di laboratorio (allineamenti strumentali, incertezze di misura e via dicendo).
Una delle operazioni che più spesso mi vengono richieste è la valutazione della concordanza di due metodi (o due diversi strumenti, o due diversi operatori) nell’effettuare una misura quantitativa.
Ad esempio, se lo strumento A e lo strumento B misurano la glicemia in modo concordante.
Come è ovvio, molto spesso clinici e ricercatori spinti da demoni malvagi provano ad improvvisarsi statistici o epidemiologi e fanno le analisi di testa loro. Fortunatamente poi li vedo tornare sui loro passi e chiedere aiuto (purtroppo non sempre e finiscono con il pubblicare risultati biased).
Qual è l’errore che in questo caso più frequentemente mi capita di vedere?
L’uso delle medie per valutare la concordanza tra metodi.
Prendiamo ad esempio due strumenti ed effettuiamo una misurazione con ciascuno di essi su dieci campioni di sangue diversi (identificati da “a” a “l”).
E diciamo che una differenza accettabile clinicamente sia 0.3.
I risultati sono i seguenti
| Sample | Method/Instrument A | Method/Instrument B |
| a | 2.05 | 0.89 |
| b | 0.88 | 2.12 |
| c | 0.87 | 2.00 |
| d | 2.45 | 1.12 |
| e | 0.99 | 2.34 |
| f | 1.05 | 1.99 |
| g | 2.33 | 1.01 |
| h | 0.98 | 2.05 |
| i | 1.99 | 1 |
| l | 2.13 | 0.87 |
Andando a calcolare le medie relative ai due strumenti vedremmo:
media strumento A = 1.572
media strumento B = 1.539
Molti laboratoristi con cui ho avuto modo di lavorare applicherebbero un banalissimo confronto tra le medie ottenendo un p value non significativo e decreterebbero che i due strumenti sono concordanti perchè le due medie non differiscono.
Altri laboratoristi li ho visti fare anche di peggio e sottrarre le due medie, senza nemmeno uno straccio di intervallo di confidenza:
1.572-1.539 = 0.033
Evviva! Gli strumenti sono concordanti! Forza, lavoriamo!
Ovviamente non è così.
Qualunque persona sana di mente si accorgerebbe guardando quei 20 valori nella tabella che i due strumenti sono discordanti.
Il confronto, infatti, non va effettuato tenendo conto delle medie dei valori prodotti dallo strumento A e delle medie prodotte dallo strumento B.
La strategia corretta è, invece, calcolare la differenze per ogni campione tra il valore generato dallo strumento A e il valore fornito dallo strumento B.
In questo caso le differenze sono queste:
| Sample | Difference A-B |
| a | 1.16 |
| b | -1.24 |
| c | -1.13 |
| d | 1.33 |
| e | -1.35 |
| f | -0.94 |
| g | 1.32 |
| h | -1.07 |
| i | 0.99 |
| l | 1.26 |
Capisci molto bene che per ognuno dei dieci campioni dosati dai due strumenti la differenza, in valore assoluto, è sempre superiore al limite di accettabilità di 0.3.
Per cui, rissumendo, è evidente che la valutazione di concordanza tra due misuratori non va mai condotta attraverso il confronto tra medie, ma attraverso l’analisi delle differenze tra i valori.
E come si fa?
Uno dei metodi più conosciuto per condurre questa analisi delle differenze è il Bland-Altman Plot. Non è ovviamente l’unico e non è il caso di parlarne ora.
Lo faremo in un successivo articolo ad hoc.
Nel frattempo..ciao!
Gianfranco
Ti serve aiuto? Contattaci e ti forniremo una soluzione.
La nostra struttura di network di professionisti ci permette di abbattere notevolmente i costi dei servizi di supporto e darne accesso, oltre che alle aziende, anche a gruppi di ricerca universitaria e studenti.
[contact-form-7 id=”140″ title=”Modulo di contatto 1″]
E il Bland Altman plot di questo test con questi identici dati??
Ho provato ad eseguire un Bland Altman, ma le differenze ricadono tutte nei limiti e quindi la conclusione sembra essere la stessa ottenuta utilizzando altri test (errati).
Ciao, Dino