Effect Size: cos’è (e perchè conta più del p value)?

Da discreto (forse) reviewer di articoli scientifici e biostatistico, mi ritrovo spesso ad avere a che fare con professionisti e ricercatori che non sanno cosa sia un “effect size”. Questo termine li manda un po’ in bambola. Ne approfitto allora per dare una spiegazione di questo concetto, in modo semplice, digeribile ai più.

Elimina per un attimo il concetto di p value dal tuo cervello

Diciamo che tu stia studiando quanto un cocktail di farmaci riduca le probabilità di raffreddore rispetto ad un placebo.

Fai la tua analisi e ottieni un Odds Ratio di 0.98, con p<0.05.

Difronte ad un risultato del genere il ricercatore si sfrega le mani: “evviva, p<0.05, si pubblica. Festa!”

Quel che ci dice un risultato del genere è che il tuo cocktail di farmaci riduce la possibilità dell’outcome che stai studiando (raffreddore) del 2%. La domanda che ti dovresti fare prima di offrire a tutti il caffè della macchinetta, è capire se questo 2% ha un significato clinico.
Imbottire di farmaci un poverino per fargli ridurre del 2% il rischio di prendersi un raffreddore? Mmmm….

La frase chiave è: la significatività statistica (il p value) è l’ultima cosa che devi guardare

Lo so, sei stato educato al p value significativo a tutti i costi,
ma la domanda che ti devi porre, prima di guardare la significatività statistica, è: l’effetto che ho individuato è forte, debole o una via di mezzo?

Devi cioè stimare l’effect size (o in italiano dimensione dell’effetto), cioè la forza della relazione tra le tue due variabili (nel nostro esempio, mix di farmaci e raffreddore).

E vabbè, e come si misura questo impatto, questa relazione tra variabili? Il p value non ci dice già se l’effetto è forte oppure no? Non bestemmiare e leggi questo post che ho scritto ormai un po’di tempo fa.

Torniamo a noi.
In un certo senso tutte le misure della relazione tra due variabili che ottieni dalle tue analisi statistiche rappresentano il cosiddetto effect size:
un coefficente di correlazione è un effect size,
un coefficente di regressione è un effect size,
un rischio relativo è un effect size;
la differenza tra due medie è un effect size;
un Odds Ratio è un effect size (in questo post trovi come interpretarlo, e quanto un Odds Ratio è più o meno alto o basso).

Ad esempio: un coefficente di correlazione di Pearson ti dice quanto è la covarianza standardizzata di due variabili.

Ma non perdiamoci in dettagli e andiamo avanti.

Effect Size Standardizzati e Non Standardizzati

C’è una distinzione da fare: esistono effect size standardizzati ed effect size non standardizzati.
Come puoi intuire i primi vi danno una misura di effetto assoluta, slegata da ogni unità di misura, i secondi invece ti danno una misura relativa dell’effetto che stai studiando.

Non potendo indicare tutti gli effect size che circolano in statistica, facciamo un paio di esempi, uno basato su variabili continue, un altro su variabili dicotomiche.

Variabili continue

Ad esempio misuri la glicemia in due gruppi randomizzati di pazienti, uno trattato con farmaco A e l’altro con placebo. I risultati sono:

media della glicemia nel gruppo trattato con Farmaco A: 112 mG/dL
media della glicemia ne gruppo trattato con Placebo: 121 mG/dL.

Qual è la stima dell’effetto? 112-121=-9mg/dL

Ottimo: -9mg/dL è l’effect size, cioè la relazione tra il trattamento e la glicemia, la magnitudo del terremoto scatenato dal farmaco A.

Ora diciamo che tu conduca lo stesso studio, farmaco vs placebo, ma questa volta misuri non più la glicemia, ma il colesterolo e guarda caso ottieni la stessa identica differenza:-9 mg/dL. Ad esempio 240mg/dL tra i trattati e 249mg/dL nel gruppo placebo.

Bellissimo, evviva.

Aspetta, -9mg/dL: questo vuol dire che l’effetto del farmaco sulla glicemia è uguale a quello sul colesterolo?
No.
Ed ecco che introduciamo il concetto di Effect Size standardizzato. Se il valore di -9mg/dL sia un valore alto, medio o basso, dipenderà dalla variabilità della misura, coè dalla sua deviazione standard.

La domanda è: quei 9 mg/dL a quante deviazioni standard corrisponde? Se la deviazione standard della glicemia fosse 7mg/dL e quella del colesterolo fosse 18mg/dL, i 9 mg/dL di glicemia sarebbero più (9/7) di una deviazione standard, nel caso del colesterolo sarebbe (9/18) mezza deviazione standard.
Tradotto: i 9mg/dL rappresentano un effetto sulla glicemia molto più grande rispetto ai 9mg/dL di effetto sulla colesterolemia.

IMPORTANTE: tienilo bene a mente, con l’Effect Size standardizzato hai eliminato l’unità di misura (mg/dL).

Non ti è ancora chiaro il concetto?

Prendi due stanze.
In una hai dieci persone che hanno tutte uno stipendio simile, tra i 1400 e i 1500 euro (deviazione standard molto bassa).
In un’ altra stanza hai 10 persone in cui ognuna ha uno stipendio diverso dall’altra, e si va da 1400 fino a 15000 euro al mese (deviazione standard molto alta). Se io do un aumento di stipendio di 300 euro alla prima stanza ho un impatto forte sulla loro qualità di vita (passare da 1500 a 1800 euro non sarebbe male). Nella seconda classe 300 euro ci dicono molto meno sull’impatto dell’aumento di stipendio.

L’esempio che ti ho appena fatto (effetto/deviazione standard) si chiama Cohen’s effect size e riguarda le variabili continue, ma esistono decine di effect size ed effect size standardizzati. Prima di passare alle variabili categoriche ti aggiungo che nel caso delle medie un Cohen’s Effect Size di 0.2 è considerabile basso, uno di 0.5 è medio, e un0 di 0.8 è considerabile elevato.

Variabili binarie

Prendiamo un esempio relativo alle variabili binarie e torniamo sul caso del mix di farmaci e del raffreddore, e diciamo che stavolta non ti interessi tanto il fatto di aver o non aver dato il mix di farmaci ai tuoi pazienti, ma se l’insorgenza del raffreddore dipenda o meno dalla loro età.
Fai la tua bella regressione logistica e cosa ottieni? Il solito bellissimo Odds Ratio.
Questo Odds Ratio rappresenta a tutti gli effetti una stima dell’effetto dell’età dei nostri pazienti.
Ad esempio: Odds Ratio 1.04. Benissimo, per ogni anno che passa aumenta del 4% la possibilità di raffreddore. E’ tanto? E’ poco?

Dipende, abbiamo detto. Lo vuoi standrdizzare? Non fai altro che introdurre nella tua regressione logistica non l’età in anni, ma l’età in deviazioni standard (prendi cioè tutti i tuoi valori di età e li dividi per la loro deviazione standard).
Il tuo effect size è standardizzato. R U happy, myfriend?

Conclusione

Questo è. Chiaro: esistono un mucchio di casi e di effect size diversi. Sentirai parlare di R-quadro, Eta-quadro, Eta-quadro parziale, misure di associazione più disparate (Rischio Relativo, attribuibile, e bla bla bla).

Ma quello che conta è di nuovo: prima di commentare il p value, commenta la direzione e la dimensione dell’effetto, standardizzato o non standardizzato che sia.

Sei nei guai fino al collo con la statistica e ti serve aiuto?

Noi di StatsImprove abbattiamo notevolmente i costi dei servizi di supporto per darne accesso, oltre che alle aziende, anche a gruppi di ricerca universitaria e studenti (dottorandi, specializzandi, laureandi).

Contattaci con un click: