• Sunday June 16,2019

Replicazioni non riuscite: una verifica della realtà per le neuroscienze?

Anonim

Un tentativo di replicare i risultati di alcuni recenti articoli di neuroscienza che affermavano di trovare correlazioni tra la struttura e il comportamento del cervello umano ha lasciato il segno.

Il nuovo articolo è dei ricercatori dell'università di Amsterdam, Wouter Boekel e colleghi, ed è in stampa ora a Cortex. Puoi scaricarlo qui dalla pagina web di uno degli autori, Eric-Jan Wagenmakers. I lettori neurosintetici conosceranno Wagenmakers come critico degli errori statistici in psicologia e come principale sostenitore della preregistrazione, cosa che non mi stanco mai di promuovere.

Boekel et al. ha tentato di replicare cinque diversi documenti che, insieme, hanno riportato 17 risultati positivi distinti sotto forma di correlazioni strutturali del comportamento cerebrale ("SBB"). Una correlazione SBB è un'associazione tra la dimensione (di solito) di una particolare area del cervello e un particolare tratto comportamentale. Ad esempio, una delle affermazioni è che la quantità di materia grigia nell'amigdala è correlata al numero di amici di Facebook che hai.

Per tentare di riprodurre questi 17 risultati, Boekel et al. ha preso 36 studenti il ​​cui cervello è stato scansionato con due metodi, MRI strutturale e DWI. Gli studenti hanno poi completato una serie di questionari e test psicologici, identici a quelli usati nei cinque documenti che erano pronti per la replica.

I metodi e le analisi statistiche sono stati completamente preregistrati (nel giugno 2012); Boekel et al. quindi non aveva possibilità di "pescare" per risultati positivi (o negativi) armeggiando con la metodologia.

Quindi cosa hanno trovato? Non molto. Nessuna delle 17 correlazioni del comportamento cerebrale era significativa nel campione di replica. Usando le statistiche bayesiane, Boekel et al. Dillo

Per tutti i 17 risultati sotto esame, i test di ipotesi bayesiana hanno indicato prove a favore dell'ipotesi nulla [cioè che non vi è correlazione.] L'estensione di questo supporto variava da aneddotico (fattore Bayes inferiore a 3) a forte (fattore Bayes maggiore di 10).

Ciò significa che i cinque documenti originali delle FFS erano sbagliati? Boekel et al. non sono impegnativo su questo punto, dicendo solo questo

Dalla discussione precedente, si potrebbe essere tentati di concludere che le correlazioni SBB testate qui semplicemente potrebbero non esistere. Tuttavia, come accennato in precedenza, una singola replica non può essere determinante in termini di conferma o confutazione di un risultato.

Concludono chiedendo più repliche pre-registrate, come quella che hanno appena fatto

Riteniamo che, al fine di stabilire con maggiore fermezza le correlazioni tra comportamento e proprietà strutturali del cervello, è auspicabile che il campo replichi le correlazioni SBB, preferibilmente utilizzando i protocolli di preregistrazione e i metodi di inferenza bayesiana.

Tuttavia, non tutti sono convinti dalle affermazioni negative di Boekel e altri. In particolare, ho sentito da Ryota Kanai dell'UCL, che è stato il primo autore su due delle cinque carte sotto esame. Cita i limiti dei tentativi di replica di Boekel ed altri

1. Uno dei risultati è stato chiaramente replicato usando un metodo vicino al nostro studio originale.
2. L'approccio della regione di interesse (ROI) adottato dagli autori sottovaluta la correlazione (a causa dell'incertezza spaziale).
3. I metodi subottimali non hanno potuto essere corretti perché si trattava di uno studio pre-registrato.
4. Non esisteva una fase in cui i metodi sono stati esaminati formalmente per questo studio.
5. Lo studio era generalmente sottodimensionato, e la maggior parte dei fattori di Bayes era inferiore a 3, indicando che i risultati negativi erano aneddotici.
6. Considerato quanto sopra, la principale affermazione secondo cui nessuno dei risultati è stato replicato sembra un po 'troppo forte.

Kanai dice anche che il processo di pubblicazione e revisione ha margini di miglioramento:

Io [ero] uno dei revisori per questo articolo.

Inizialmente, ho chiesto all'editor di azioni Cortex (Chris Chambers) di lasciarmi scrivere un commento su questo articolo in modo che i lettori possano vedere entrambi i lati della storia contemporaneamente. Ma ora, Wagenmakers ha già reso disponibile il suo articolo online e sta per scrivere un blog su questo studio.

È vero che gli autori mi hanno inviato il loro documento di pre-registrazione prima di iniziare il loro progetto. Ma a quel tempo, non era chiaro che dovevo leggerlo in modo critico come vorrei per le recensioni formali. Questo non dovrebbe essere un problema per il lavoro futuro, se usiamo i meccanismi di pre-registrazione come Registered Report nella rivista Cortex .

Sto ancora pianificando di scrivere un commento completo quando il documento è ufficialmente uscito. Tuttavia, penso che il tuo blog sarebbe un ottimo posto per discutere ulteriormente di questo argomento. Spero che questa sarà una discussione costruttiva per il campo del neuroimaging.

Nondimeno, Kanai afferma di sostenere la pubblicazione di Boekel et al. perché

Riconosco l'importanza della preregistrazione in questo campo per affrontare i problemi del piccolo problema N, il bias di pubblicazione e il p-hacking flessibile mediante modifiche post hoc delle strategie di analisi.

Ho riscontrato alcuni problemi nell'esaminare il manoscritto di Boekel et al. [Ma] ho pensato che sarebbe stato più vantaggioso per il settore discuterne in una discussione tra colleghi post-pubblicazione in modo da poter migliorare la pratica degli studi pre-registrati specialmente nel contesto del neuroimaging.

Sono d'accordo con l'atteggiamento di Kanai qui. Penso che il documento importante di Boekel et al. Sia la prova che una scienza veramente rigorosa e preregistrata non è solo possibile, ma pubblicabile in una rivista importante. Abbiamo bisogno di più di questo. I risultati negativi di Boekel e altri sono certamente preoccupanti.

Detto questo, sarebbe sconsiderato cancellare tutte le 17 affermazioni come già smentite. Molti dei risultati nulli erano solo "aneddotici" in termini di prove statistiche bayesiane. Il campione di Boekel et al. Era relativamente piccolo, e le limitazioni metodologiche rilevate da Kanai, mentre non ovviamente quelle fatali, non sono facilmente liquidabili.

Tuttavia, come Kanai, sono sicuro che una discussione aperta sia la migliore strada da seguire. La preregistrazione stessa aiuta a facilitare questo. L'approccio encomiabile di Kanai è un mondo lontano dal tipo di reazioni ostili e difensive che, purtroppo, a volte salutano i fallimenti di replicare.

Boekel, W, Wagenmakers, EJ, Belay, L, Verhagen, J, Brown, S, e Forstmann, BU (2014). Uno studio di replica puramente confermativo delle correlazioni strutturali cerebrali-comportamentali Cortex


Articoli Interessanti

Kinect Hacks: Turn Invisible, Make a Instant Light Saber, & More

Kinect Hacks: Turn Invisible, Make a Instant Light Saber, & More

La nuova generazione di controllo dei videogiochi ci è arrivata con il rilascio di Kinect di Microsoft, che consente agli utenti di controllare i giochi speciali XBOX 360 con tutto il loro corpo. Gli hacker hanno scavato avidamente nel dispositivo, specialmente da quando Shannon Loftis di Microsoft ha dichiarato a Ira Flatow di Science Friday che nessun hacker si metterebbe nei guai per trovare usi alternativi per il Kinect: "Sono molto felice di vedere che le persone sono così ispirate che è stata meno di una settimana dopo che il Kinect è uscito prima che iniziassero a creare e pensare a

Come studiare gli embrioni, nessun embrione richiesto

Come studiare gli embrioni, nessun embrione richiesto

Studiare lo sviluppo umano - specialmente le primissime fasi della gravidanza - può essere una cosa complicata. Di solito, gli scienziati hanno bisogno di embrioni per esaminare queste prime fasi. Il problema è che gli embrioni sono una risorsa costosa e limitata e lavorare con loro è pieno di dilemmi etici. O

Eclipse followup parte 2: tonnellate di link su come guardare in sicurezza

Eclipse followup parte 2: tonnellate di link su come guardare in sicurezza

Oggi è l'eclissi! Sono eccitato, anche se il nostro tempo qui a Boulder è stato abbastanza touch-and-go nelle ultime settimane. Spero in cieli sereni quindi posso vederlo; Ieri ho ricevuto i miei occhiali eclissi nella posta, quindi sono pronto. A livello locale, CU Boulder è in attesa di vedere nello stadio di calcio! Q

IR Orion

IR Orion

Oddio. Con la riunione della IAU in corso al momento, sapevo che sarei stato colpito da notizie e belle immagini. e avevo ragione. Scoprendo la splendida immagine di una regione che forma le stelle in una galassia vicina, arriva questo: . una regione che forma le stelle nella nostra Galassia. Questa è la famosa Nebulosa di Orione, un'enorme nube di gas e polvere che sta espandendo le stelle.

La nuova legge consente ai prodotti chimici tossici di divieto EPA

La nuova legge consente ai prodotti chimici tossici di divieto EPA

Tunart / Getty Images I leader del Congresso negli anni 70 politicamente turbolenti sono riusciti a far passare leggi radicali per assicurare aria e acqua pulite, proteggere le specie in via di estinzione e tenere le sostanze tossiche fuori dai normali prodotti domestici. Quest'ultima legge, il Toxic Substances Control Act del 1976, ha avuto una revisione nel 2016 in un po 'di bipartisan ritorno al passato

Visualizzazione dei collegamenti del cervello

Visualizzazione dei collegamenti del cervello

Il cervello umano è un posto affollato. Contiene circa 100 miliardi di neuroni, collegati l'un l'altro da un milione di miliardi di sinapsi. Il neuroscienziato Olaf Sporns dell'Università dell'Indiana, il biologo cellulare Jeff Lichtman di Harvard e il neuroscienziato computazionale Sebastian Seung del MIT stanno mappando queste connessioni, con lo scopo di creare un "connectome" di un intero cervello.