Quando discutiamo i risultati dei nostri studi e delle analisi statistiche che conduciamo, quasi sempre i nostri sforzi finiscono con il sottolineare la significatività statistica dei risultati.
Abbiamo un p value significativo? Evviva. Siamo pronti per il premio Nobel.E in parte è anche corretto essere contenti, ci mancherebbe.
Ma quello che è il nostro compito come “persone di scienza” non è solo quello di considerare il nostro orticello e di fare la nostra pubblicazioncina.
Il nostro compito è quello di discutere a 360 gradi le evidenze che abbiamo per le mani.
Uno spunto di riflessione che va oltre il concetto di significativo e non-significativo
Facciamo una premessa: molti ricercatori e studenti dimenticano che il loro singolo studio non crea un’evidenza scientifica forte.
La significatività del loro p value serve a poco se essa non viene replicata da altri ricercatori e se lo studio non entra in un processo di metanalisi e/o di revisione.
La domanda che ci possiamo e dobbiamo fare è: se ho ottenuto un risultato statisticamente significativo, qual è la probabilità che repliche del mio studio forniscano risultati ugualmente significativi?
Qua il nostro p value ci può aiutare.
Infatti il p value NON ci dice niente sulla stima dell’effetto, NON è la probabilità di avere uno studio falsamente positivo, MA ci può fornire una stima o perlomeno un’idea del “replication rate”.
Tradotto: il livello di significatività dei tuoi risultati, cioè quanto è piccolo il tuo p value, ti informa sulla probabilità che lo stesso studio ripetuto da altri ricercatori dia un risultato statisticamente significativo.
Quali sono queste probabilità?
Ce lo dice uno studio pubblicato su “Science” nel 2015.
Senza entrare nel dettaglio dello studio (che ti ho linkato sopra nel caso tu voglia approfondire):
- con un p value < 0.001 la probabilità di ottenere di nuovo un risultato statisticamente significativo è oltre il 60%;
- con un p value < 0.02 la probabilità di ottenere di nuovo un risultato statisticamente significativo è circa il 40%;
- con un p value tra 0.02 e 0.04 la probabilità cala poco al di sotto del 30%;
- con un p value sopra 0.04 la probabilità cala ulteriormente al di sotto del 20%.
Il terrificante grafico che ho provato ad immaginare e che ho disegnato io “a mano” qua sotto penso ti renda l’idea in modo più evidente.
Si tratta di numeri da prendere con le pinze.
Intanto perché si tratta di uno studio condotto in ambito psicometrico perciò caratterizzato in generale da variabilità dei dati più pronunciate.
Secondo: l’entità del p value non è l’unica variabile in grado di predire il replication rate. Ci sono di mezzo anche la potenza del test, il tipo di disegno, eccetera.
Tuttavia, il consiglio che ti do è quello di discutere il tuo p value anche sotto questo aspetto: un p value molto basso permette di essere fiduciosi e di investire nella conferma del dato. Un p value prossimo allo 0.05 conferisce una consistente probabilità di falsa positività dello studio ed una significatività statistica che uno studio successivo molto probabilmente non rileverebbe.
E questa è un’informazione preziosa che il mondo di chi fa ricerca sul tuo stesso topi è tenuto a considerare.
Ancora più nella pratica: non è sufficiente giudicare il proprio risultato in “modo binario”, significativo oppure no. Oggetto di discussione deve sempre essere anche il livello di significatività.
Perché come abbiamo visto un p=0.001 può significare qualcosa di diverso da un p=0.03 o p=0.048.
Serve supporto statistico?
Noi di StatsImprove abbattiamo notevolmente i costi dei servizi di supporto per darne accesso, oltre che alle aziende, anche a gruppi di ricerca universitaria e studenti (dottorandi, specializzandi, laureandi).
Contattaci con un click: