Περίπου τα δύο τρίτα των ψυχικών ευρημάτων διατηρούνται στα κορυφαία περιοδικά

Μια ομάδα επιστημόνων που προσπάθησαν να επαναλάβουν 21 πειραματικά ευρήματα ψυχολογίας που δημοσιεύθηκαν στα γνωστά περιοδικά Επιστήμη και Φύση ήταν σε θέση να επαναλαμβάνω 13 από αυτούς.

Η ψυχολογία βρισκόταν στο κίνημα μιας αναγνώρισης και μεταρρύθμισης προβληματικών πρακτικών που οδηγούν σε αναξιόπιστα αποτελέσματα. Οι απόψεις ακόμη και από τα πιο δημοφιλή περιοδικά δεν είναι απαλλαγμένες από αυτά τα εμπόδια, καταδεικνύοντας τη σημασία της συνέχισης της εφαρμογής πολιτικών που καθιστούν τα νέα επιστημονικά ευρήματα πιο αξιόπιστα.

«Όλοι θα αγωνιστούμε για αυτό το διαισθητικό, εκπληκτικό αποτέλεσμα. Αυτό δεν είναι κακό στην επιστήμη, γιατί έτσι η επιστήμη σπάει τα όρια », είπε Μπράιαν Νόσεκ, ο κύριος συγγραφέας της μελέτης και καθηγητής ψυχολογίας στο Πανεπιστήμιο της Βιρτζίνια. "Το κλειδί είναι να αναγνωρίσουμε και να αγκαλιάσουμε την αβεβαιότητα αυτού και είναι εντάξει αν κάποιοι αποδειχθούν λάθος." Τι δείχνει το τελευταίο τεστ, εξήγησε το προηγούμενο συνέδριο στο Διαδίκτυο την εβδομάδα, «είναι ότι μπορούμε να έχουμε πολύ πιο αποτελεσματικό στον εντοπισμό ψευδών δυνητικών πελατών παρά να τους επιμένουμε γιατί ποτέ δεν ενοχλήσαμε να τους επαναλάβουμε στην πρώτη θέση."

Μια διεθνής ομάδα επιστημόνων εξέτασε κάθε έγγραφο κοινωνικής επιστήμης που δημοσιεύθηκε στο Επιστήμη και Φύση μεταξύ 2010 και 2015. Σχεδίασαν να επαναλάβουν ένα υποσύνολο μελετών που περιλάμβαναν μια πειραματική παρέμβαση, δημιούργησαν ένα σημαντικό αποτέλεσμα και πραγματοποιήθηκαν σε μια ομάδα συμμετεχόντων.

Η ομάδα αναδημιούργησε τον πειραματικό σχεδιασμό όσο το δυνατόν πιο κοντά και συνεργάστηκε με τους αρχικούς συγγραφείς για να το πράξουν. Καταχώρισαν επίσης το πρωτόκολλο μελέτης, το σχεδιασμό και την ανάλυση στο Ανοιχτό Επιστημονικό Πλαίσιο, ένα σύστημα σχεδιασμένο για να αυξάνει την αξιοπιστία και τη διαφάνεια στην επιστήμη. Πραγματοποίησαν κάθε μελέτη με πέντε φορές περισσότερα άτομα από την αρχική, έτσι ώστε η έρευνα να είναι ιδιαίτερα ευαίσθητη στην ανίχνευση τυχόν πειραματικών αποτελεσμάτων.

Η ομάδα επανέλαβε με επιτυχία 13 από τα ευρήματα της μελέτης, ή 62 τοις εκατό. Οι υπόλοιπες οκτώ μελέτες δεν επαναλήφθηκαν. Οι προηγούμενες πρωτοβουλίες αναπαραγωγής παρήγαγαν μια σειρά αποτελεσμάτων και η ομάδα εκτιμά ότι το ποσοστό της ψυχολογίας ήταν αναπαραγωγιμότητα επί του παρόντος κυμαίνεται μεταξύ 35% και 75%. Οι επιστήμονες ανακάλυψαν επίσης ότι η ισχύς των πειραματικών επιδράσεων ήταν περίπου το ήμισυ αυτού που ήταν στις αρχικές μελέτες. Τα αποτελέσματα δημοσιεύθηκαν σήμερα στο περιοδικό Φύση Ανθρώπινη Συμπεριφορά.

Πολλά κομμάτια έχουν συμβάλει στα προβλήματα με την αναπαραγωγή. Οι επιστήμονες έχουν συνήθως ευελιξία στον τρόπο με τον οποίο αναλύουν πειραματικά δεδομένα και δοκιμάζοντας διαφορετικά προσεγγίσεις, μπορούν συνειδητά ή ασυνείδητα να ωθήσουν τα ευρήματα στο κατώφλι στατιστικής σημασία. Οι ερευνητές μπορούν επίσης να αλλάξουν μια υπόθεση αφού δουν τα αποτελέσματα, η οποία έχει ως αποτέλεσμα την ύφανση οποιωνδήποτε σημαντικών αποτελεσμάτων βρήκαν σε μια συναρπαστική αφήγηση. Δεν απαιτείται να διαθέσουν τα δεδομένα τους, γεγονός που μπορεί να οδηγήσει σε ανεξέλεγκτη συμπεριφορά. Ίσως το πιο σημαντικό, οι επιστήμονες και οι συντάκτες περιοδικών έχουν κίνητρα να δημοσιεύσουν όσο το δυνατόν περισσότερα νέα, φανταστικά ευρήματα - αντί να επαναλάβουν προηγούμενα ευρήματα για να διασφαλίσουν την αξιοπιστία.

Αυτά τα στοιχεία οδηγούν σε νέα αποτελέσματα και ισχυρά αποτελέσματα που αναφέρονται σε παραπλανητικά υψηλό ποσοστό. Αυτό αποδεικνύεται από το γεγονός ότι το μέσο μέγεθος των αποτελεσμάτων ήταν το ήμισυ μεγαλύτερο στις επαναλαμβανόμενες μελέτες από ότι ήταν αρχικά. «Αυτό είναι ένα πολύ συνεπές θέμα αναπαραγωγής», είπε Σαντζάι Σριβαστάβα, καθηγητής ψυχολογίας στο Πανεπιστήμιο του Όρεγκον, ο οποίος δεν συμμετείχε στην έρευνα. «Εάν οι μελέτες μερικές φορές υπερκαλύπτουν και μερικές φορές ξεπερνούν, τότε θα πρέπει να είναι 50/50. Αλλά αυτό δεν ισχύει καθόλου. "

Η ομάδα επινόησε επίσης ένα πείραμα για να δει εάν οι ψυχολόγοι μπορούσαν να ανιχνεύσουν σταθερά, αυστηρά αποτελέσματα. Μια ομάδα 200 ερευνητών στοιχηματίζει σε ποιες μελέτες θα ή όχι θα έπρεπε να ελέγξουν. Η πιθανότητα ότι μια μελέτη θα αναπαράγονταν σωστά προέβλεπε το αποτέλεσμα για 18 από τις 21 μελέτες.

"Ως κοινότητα, δεν σκοντάφτουμε εντελώς στο σκοτάδι όταν πρόκειται για αυτό που πρόκειται να αναπαραχθεί" Will Gervais, αναπληρωτής καθηγητής ψυχολογίας στο Πανεπιστήμιο του Κεντάκι, δήλωσε στο διαδικτυακό συνέδριο. «Θα μπορούσατε ενδεχομένως να εκπαιδεύσετε κριτικούς από ομότιμους κριτές για να προσέξετε τα μοτίβα που ακολουθούν οι άνθρωποι. Με αυτόν τον τρόπο ελπίζουμε ότι μπορούμε να εξαλείψουμε μερικά από αυτά τα ψεύτικα θετικά προτού μολύνουν τη λογοτεχνία. "

Ο Gervais συνέταξε μια από τις μελέτες που δεν επαναλήφθηκαν. ο χαρτί δημοσιεύτηκε το Επιστήμη το 2012, και έδειξε ότι η αναλυτική σκέψη καταστέλλεται πίστη στη θρησκεία. Εκείνη την εποχή, οι ανησυχίες σχετικά με την ενίσχυση της αξιοπιστίας δεν είχαν ακόμη διαπεράσει το πεδίο. Τώρα αναγνωρίζει ότι το πείραμα ήταν αρκετά αδύναμο και δεν κράτησε όπως και άλλες ιδέες σε όλη του καριέρα.

«Η μελέτη μας, εκ των υστέρων, ήταν εντελώς ανόητη. Ήταν ένας πολύ μικρός [αριθμός συμμετεχόντων] και ελάχιστα σημαντικός - είδος ισοτιμίας για το μάθημα προτού αρχίσουμε να παίρνουμε στα σοβαρά την αναπαραγωγή », είπε ο Gervais. "Ένα από τα καλύτερα πράγματα που προκύπτουν από ολόκληρο το κίνημα αναπαραγωγιμότητας είναι ότι ωθεί τους κριτικούς και τους συντάκτες να είναι πιο ενημερωμένοι για το τι πρέπει να δημοσιεύσουμε και να εγκρίνουμε πρώτα."

Ο τομέας έχει προχωρήσει πολύ στην ενίσχυση της αξιοπιστίας της νέας έρευνας. Οι λύσεις περιλαμβάνουν δοκιμές πειραμάτων σε μεγαλύτερο αριθμό ατόμων, δημιουργία αυστηρότερου ορίου για στατιστική σημασία, δημοσιοποίηση των δεδομένων, συνέχιση προσπάθειες αναπαραγωγής και δημοσίευση του προγράμματος για μια μελέτη πριν από τη διεξαγωγή της, η οποία περιορίζει το είδος της ευελιξίας του ερευνητή που οδηγεί σε ψευδώς θετικά. Το Open Science Framework δημιουργήθηκε το 2012 και τώρα περιλαμβάνει εγγραφές περισσότερων από 20.000 μελετών, σύμφωνα με τον Nosek, ο οποίος είναι εκτελεστικός διευθυντής του Κέντρο Ανοικτής Επιστήμης. Το ποσοστό διπλασιάστηκε κάθε χρόνο από τη δημιουργία του.

«Αυτή η μελέτη είναι πολύ καλή κίνητρο να συνεχίσουν να πιέζουν περιοδικά για να ενημερώσουν τις πολιτικές τους και να αλλάξουν κίνητρα ώστε οι επιστήμονες να ανταμειφθούν για περισσότερες από αυτές τις πρακτικές », δήλωσε ο Σριβαστάβα. «Είναι σαν να σπρώχνεις το αυτοκίνητό σου όταν έχει σταματήσει. Το αυτοκίνητο κινείται, αλλά πρέπει να συνεχίσετε να πιέζετε, αλλιώς θα σταματήσει. "