Tribulationen eines Neugeborenen

Wie wissenschaftlich ist die Lehre der Seele wirklich?

Seit ihrer Geburt in Wundts Laboratorium im 19. Jahrhundert, bis zu ihrem jetzigen Umgang mit der Replikationskrise, wurde der psychologischen Forschung viel Kritik ausgesetzt. Dies sagt nicht nur über die Psychologie, sondern auch über unsere Art und Weise über Wissenschaft nachzudenken, viel aus.

Von Noémie Lushaj
Lektoriert von Loana Brestel und Selina Landolt
Illustriert von Melina Camin

Nach dem erfolgreichen Abschluss des Psychologiestudiums findet man hoffentlich in seinem Briefkasten einen sogenannten Bachelor, beziehungsweise Master of Science in Psychologie. Doch als Psychologiestudierende hört man von fachfremden Menschen immer wieder die Bemerkung, dass Psychologie ja eigentlich gar keine Wissenschaft sei. Wird die Psychologie nicht gerade fälschlicherweise mit der Psychoanalyse gleichsetzt, wird zum Beispiel behauptet, dass sie schlicht und einfach völlig subjektiv sei und sich von Volksweisheiten und alltagspsychologischen Konzeptionen kaum unterscheiden würde. Solche Aussagen basieren meistens auf veralteten Klischees über das Fach und sind oft klar als Scherze zu identifizieren. Doch manchmal sind sie auch ernst gemeint und entstehen aus fundierteren Reflektionen über die Wissenschaft. Zum Beispiel argumentierte Alex Berezow (2012) im Los Angeles Times: «Psychology isn’t science. Why can we definitively say that? Because psychology often does not meet the five basic requirements for a field to be considered scientifically rigorous: clearly defined terminology, quantifiability, highly controlled experimental conditions, reproducibility and, finally, predictability and testability». In diesem Artikel möchte ich mir nun die Zeit nehmen, um über die Fundierung von ebengenanntem und ähnlichen Gedanken zu reflektieren, denn es scheint in dieser hitzigen Debatte an mehreren Stellen Missverständnisse zu geben. Dabei werde ich auf die folgenden Punkte eingehen: Was ist denn die Wissenschaft eigentlich? Kann dieses Konzept überhaupt klar definiert und von dem getrennt werden, was nicht Wissenschaft ist? Mit welchen Herausforderungen wurde die Psychologie in ihrer Entwicklung konfrontiert und inwiefern kann ihre Wissenschaftlichkeit kritisiert werden? Auf der anderen Seite: Was macht unser Fach richtig? Und was sagt die Tatsache, dass der Psychologie Unwissenschaftlichkeit vorgeworfen wird über unseren Bezug zu und unserem Verständnis von Wissenschaft aus, sei es in der allgemeinen Gesellschaft oder in der akademischen Welt? 

Das, was Wissen schafft? 

Die Ursprünge des wissenschaftlichen Denkens liegen weit in der Vergangenheit und haben in der antiken Welt viele Spuren hinterlassen, von Indiens Vedas [eine Ansammlung von heiligen Sanskrit-Texten (CrashCourse, 2018)] und den Pyramiden Ägyptens bis zum Maya-Kalender (Williams, 2018). In der westlichen Welt hat sich vor allem im alten Griechenland viel getan. Insbesondere durch die Arbeiten von Aristoteles, welcher oft als der Vater der Wissenschaft gilt und der versuchte – ganz im Gegensatz zum Idealismus seines Vorgängers Plato – durch Beobachtung seine Umwelt zu beschreiben (Andersen & Hepburn, 2016). In den folgenden Jahrhunderten widmeten sich unterschiedliche Menschen, unter anderen René Descartes, Francis Bacon, Galileo Galilei und Isaac Newton, dem Studium der damals sogenannten Naturphilosophie, welche als Vorläuferin der heutigen Wissenschaft angesehen werden kann (Kitcher, 2019). Mit der wissenschaftlichen Revolution im 16. und 17. Jahrhundert trennte sich die Wissenschaft von der Philosophie und die wissenschaftliche Methodik kristallisierte sich langsam heraus (Spencer, Brush, & Osler, 2019). Die Bezeichnung scientist wurde allerdings interessanterweise erst im 19. Jahrhunderten von William Whewell geprägt (Snyder, 2019). Doch darf man Psycholog*innen auch zu den Wissenschaftler*innen zählen? 

Um überhaupt beurteilen zu können, ob etwas als Wissenschaft qualifiziert werden kann, sollte man das Konzept in einem ersten Schritt definieren oder zumindest etwas greifbarer machen. Schon hier tauchen die ersten Schwierigkeiten auf: Dass dies keine so einfache Übung ist, beweist die andauernde Debatte um das sogenannte Abgrenzungsproblem aus der Epistemologie (Hansson, 2017). Dabei geht es darum, ein Kriterium zu finden, das in der Lage ist, die empirische Wissenschaft von anderen, nicht-wissenschaftlichen Disziplinen und auch von der Pseudowissenschaft zu demarkieren. Zum Beispiel wurde von den Vertretern des logischen Positivismus das Kriterium der Verifizierbarkeit von Aussagen vorgeschlagen und Karl Popper führte das Konzept der Falsifizierbarkeit ein (Hansson, 2017). Derksen (1993) hat drei Hauptgründe identifiziert, warum es uns nicht gelungen ist, die Abgrenzungsproblematik von Wissenschaft und Nicht-Wissenschaft zu beseitigen: Wissenschaft verändert sich über die Zeit, Wissenschaft ist heterogen und Wissenschaft ist selbst nicht ganz frei von Makeln. 

«Science is more than a body of knowledge. It’s a way of thinking, a way of skeptically interrogating the universe with a fine understanding of human fallibility.» Carl Sagan, 1996 (zitiert nach Vergano, 2014) 

Was die Definition und Abgrenzung von Wissenschaft angeht, wurde das letzte Wort also noch lange nicht gesprochen. Nichtsdestotrotz herrscht ein gewisser Konsens über die Grundprinzipien der wissenschaftlichen Methodik, sodass Forschung trotz dieser offenen philosophischen Fragen pragmatisch betrieben werden kann – obwohl man auch hier ewig darüber streiten könnte, wie uniform oder pluralistisch diese Methoden sind, beziehungsweise sein sollten (Andersen & Hepburn, 2016). Die wissenschaftliche Methodik ermöglicht das Generieren und Testen von Hypothesen, basierend auf induktivem und deduktivem Denken (Andersen & Hepburn, 2016). Dabei werden in der Regel Experimente durchgeführt und statistische Methoden eingesetzt. Der Forschungszyklus läuft zusammenfassend wie folgt ab (Gravetter & Forzano, 2016): Zuerst wird der aktuelle Stand des Wissens zu einem Thema betrachtet und Forschungsfragen werden ausgearbeitet. Dann werden Hypothesen generiert, Variablen operationalisiert, die Stichprobe gezogen und das Studiendesign festgelegt. In einem nächsten Schritt werden Daten erhoben, ausgewertet, interpretiert und schliesslich erscheint die Publikation nach dem Peer Review in einem Journal. Dabei ist zu beachten, dass neben der p-Werte, welche die Wahrscheinlichkeit eines beobachteten Ergebnisses oder von extremeren Befunden unter der Nullhypothese angeben, idealerweise auch die Effektgrössen und Konfidenzintervallen berichtet werden sollten (Goodman, 2008). Weiter muss erwähnt werden, dass sich Ergebnisse erst durch die Betrachtung verschiedener interner und externer Informationsquellen und durch Replikation mit einer höheren Wahrscheinlichkeit bestätigen lassen. 

Ein unbeliebter Newcomer 

Die Psychologie verfolgt vier Basisziele, nämlich das «Erleben, Verhalten und Handeln des Menschen» zu beschreiben, zu erklären, vorherzusagen und zu verändern (Hussy, Schreier, & Echterhoff, 2013, S. 2). Verglichen mit anderen Disziplinen, die schon eine lange Geschichte haben, befindet sich die Psychologie, wie wir sie heute kennen, fast noch in ihrer Anfangsphase. Tatsächlich wird die Gründung des Laboratoriums von Wilhelm Wundt im Jahr 1879 in Leipzig oft als die offizielle Geburt der experimentellen Psychologie angesehen (Hussy et al., 2013). Aus diesem naturwissenschaftlich orientierten Ansatz entstammten die quantitativen Methoden in der Psychologie: Das experimentelle Vorgehen entwickelte sich zum psychologischen Forschungsparadigma. Die moderne Psychologie hat somit einen hohen wissenschaftlichen Anspruch und setzt dementsprechend wissenschaftlichen Methoden ein (Hussy et al., 2013). Insofern kann die Psychologie durchaus als eine empirische Wissenschaft angesehen werden. 

«Die Psychologie hat zwar eine lange Vergangenheit, aber nur eine kurze Geschichte.» Hermann Ebbinghaus, 1908 (zitiert nach Hussy et al., 2013, S. 21) 

Obwohl wir als Psychologiestudierende und Psycholog*innen des 21. Jahrhunderts von unserem Gebiet begeistert sind, ist das Fachgebiet Psychologie anfänglich sowohl auf Interesse wie auch auf Widerstand gestossen. Selbst für den amerikanischen Psychologen William James ist die Psychologie, verglichen mit den Fragestellungen der Philosophie und Religion, nichts anderes als «a nasty little subject» (Kallen, 2020). Viele Faktoren tragen zu der unwissenschaftlichen Reputation der Psychologie bei. Psychoanalytische Theorien und Konzepte, zum Beispiel die von Sigmund Freud und Carl Jung, haben sowohl unsere moderne Kultur als auch die Entwicklung der Psychologie massiv geprägt. Diese Lehre hat eine geisteswissenschaftliche Ausrichtung und verwendet interpretative qualitative Methoden (Hussy et al., 2013). Der sogenannte Methodenstreit zwischen Vertreter*innen qualitativer und quantitativer Ansätze rückt zunehmend in die Vergangenheit und meistens wird erkannt, dass unterschiedliche Ansätze je nach Situation sinnvoll eingesetzt und miteinander kombiniert werden können (Hussy et al., 2013). Trotzdem bleibt die Wissenschaftlichkeit der psychoanalytischen Tradition bis heute durchaus umstritten (Fonagy, 2003), was indirekt einen Einfluss darauf hat, wie die Psychologie als Ganzes wahrgenommen wird. Als modernerer Faktor kommt hinzu, dass sich noch vor kurzem jeder und jede Psycholog*in nennen konnte. Seit 2013 ist die Berufsbezeichnung in der Schweiz jedoch geschützt: Nur wer einen Master in Psychologie besitzt, darf sich jetzt so bezeichnen (Bundesamt für Gesundheit, 2013). Auch ist es so, dass die Berufe der Psychologie unglaublich divers sind. Psycholog*innen arbeiten nicht nur in der Forschung, sondern auch in der Therapie, im schulischen Kontext, im Bereich der Human Resources und noch in vielen anderen Branchen. Es verwenden jedoch nicht alle Besitzer*innen eines Masters in Psychologie wissenschaftliche Methoden in ihrem Alltag mit dem Zweck, die menschliche Seele besser zu verstehen. Somit ist die Psychologie zwar eine Wissenschaft, aber nicht alle Psycholog*innen sind Wissenschaftler*innen (Kraus, 2013). Und auch wenn die experimentelle Psychologie wissenschaftlich ist, so ist es trotzdem schwierig zu verneinen, dass sie sich von anderen, härteren Wissenschaften irgendwie doch wesentlich unterscheidet. Aber wie beachtlich sind diese Unterschiede wirklich? 

Von wegen weich und hart 

Seit circa 200 Jahren existiert die Idee, dass es eine Art Hierarchie innerhalb der Wissenschaft gibt, in der sich die physischen Wissenschaften hierarchisch gesehen ganz oben, die biologischen Wissenschaften in der Mitte und die sozialen Wissenschaften zu unterst in der Hierarchie befinden (Fanelli, 2010). Während sich härtere Wissenschaften auf Daten und Theorien stützen, sind weichere Wissenschaften anfälliger für Verzerrungen – so die Idee (Fanelli, 2010). Tatsächlich sind in der Psychologie je nach Forschungsfrage unterschiedliche Konzepte und eben auch latente, das heisst nicht direkt beobachtbare und messbare Variablen wie Gefühle oder Persönlichkeitseigenschaften, von Interesse (Hussy et al., 2013). Um diese der Erfassung zugänglich zu machen, müssen sie zuerst operationalisiert werden, wobei diese Operationalisierung mehr oder weniger valide und reliabel erfolgen kann. In der Psychologie sind Reliabilitäten, also Messgenauigkeiten, nie perfekt, denn Messfehler treten immer auf, sei es aufgrund der Versuchspersonen, der Instrumente oder der Auswertungen der Daten (Hussy et al., 2013). 

«Psychology is a very unsatisfactory science. […] But when one considers the potential contribution which psychology can make to our understanding of the universe, one’s attitude may be changed.» Kurt Koffka, 1935, S. 22 

Doch muss an dieser Stelle erwähnt werden, dass man selbst in Fächern wie Physik, die als prototypisch hart gelten, mit Phänomenen zu tun hat, die nicht direkt beobachtbar und messbar sind. Somit ist zum Beispiel die Theorie der multiplen Universen (siehe Kästchen «In einem Paralleluniversum») schwer falsifizierbar und viele Phänomene in der Astrophysik nicht reproduzierbar, unter anderem der Big Bang (Carroll, 2013). Heisst das, dass diese keine wissenschaftlichen Fragestellungen und Untersuchungsgegenstände sind? Am wahrscheinlichsten erscheint es, dass das Zusammenspiel zwischen Theorien und Daten und den daraus abgeleiteten Schlussfolgerungen in der Wissenschaft subtiler abläuft, als es auf den ersten Blick erscheint (Carroll, 2013). Im Lichte solcher Überlegungen merkt man, dass die Dichotomie zwischen den harten und den weichen Wissenschaften auf eine übersimplifizierte Sichtweise von Wissenschaft basiert und dass die Wissenschaft selber in Wahrheit weit davon entfernt ist, perfekt zu sein. 

Glück im Unglück 

In der Theorie sollten durch die Anwendung der wissenschaftlichen Methoden Verzerrungen vermieden werden (Fanelli, 2010). In der Praxis sieht die Situation jedoch anders aus. Tatsächlich ist die Psychologie, aber auch die Wissenschaft im Allgemeinen, momentan mit einer sogenannten Replikationskrise konfrontiert. Der Medizinprofessor und Forscher John Ioannidis (2005) konnte anhand von mathematischen Modellen aufzeigen, dass die meisten bisher hervorgebrachten Forschungsbefunde falsch sind. So zeigten nur 39 von 100 replizierten psychologischen Studien in einer Open Science Collaboration (2015) signifikante, gleiche Resultate. Dies ist höchst alarmierend, denn die Reproduzierbarkeit von experimentellen Befunden hat einen zentralen Stellenwert in der Wissenschaft. Dorothy Bishop (2019) beschreibt in ihrem Artikel «Rein in the four horsemen of irreproducibility» die vier Reiter der Replikationsapokalypse, die für die jetzige Krise verantwortlich gemacht werden können: HARKing, P-Hacking, eine geringe statistische Power und der Publikationsbias. Beim HARKing, was für hypothesizing after the results are known steht, werden Hypothesen nach der statistischen Analyse aufgestellt (Kerr, 1998): Somit wird der Eindruck vermittelt, dass die Ergebnisse die Hypothesen bestätigen und es wird ein explorativer Ansatz als konfirmatorisch verkauft. P-Hacking findet statt, wenn Daten und Analysen so gesammelt und ausgewählt werden, dass die Ergebnisse statistisch signifikant werden (Head, Holman, Lanfear, Kahn, & Jennions, 2015). Bei dem Problem der geringen statistischen Power geht es darum, dass weil beispielsweise die Stichprobe zu klein ist, Ergebnisse stark schwanken und vorhandene Effekte wahrscheinlich nicht detektiert werden (Schönbrodt & Perugini, 2013). Somit sind solche Resultate insgesamt weniger zuverlässig und generalisierbar. Diese Probleme hängen eng mit dem Publikationsbias zusammen: Studien mit nicht-signifikanten Ergebnissen werden deutlich seltener in wissenschaftlichen Zeitschriften publiziert – ein Problem, das die Psychologie übrigens in einem viel grösseren Ausmass betrifft als härtere Wissenschaften (Fanelli, 2010). Mit diesen methodischen Herausforderungen umzugehen ist zentral, denn sie gehen mit einer massiven Verschwendung von zeitlichen, finanziellen und intellektuellen Ressourcen wie auch falschen Erkenntnissen einher, welche Patient*innen potentiell schaden könnten (Bishop, 2019). 

So gefährlich und konsequenzenreich diese Probleme sind, haben sie auch gute Nebenwirkungen: Sie haben nämlich Forscher*innen dazu gezwungen, kreativ zu werden und Möglichkeiten zu entwickeln, wie man diese wissenschaftlichen Barrieren überwinden kann. So hat sich zum Beispiel das Feld der Meta-Wissenschaft, welche die Wissenschaft selbst zum Gegenstand macht, massiv entwickelt und es wurde versucht, Forschungsmethoden weiter zu verbessern (Bishop, 2019). Auch wurde in den letzten Jahren die Wichtigkeit von Open Science, welche die Inhalte und Prozesse von Forschung breit zugänglich machen möchte, zunehmend betont (Munafò et al., 2017). Eine weitere positive Entwicklung ist der Trend der Prä-Registrierung von Studien: Diese wird in der Psychologie zur neuen Norm und auch wenn sich andere Disziplinen zunehmend mit der Thematik beschäftigen, nimmt die Psychologie in dem Bereich immer noch eine führende Rolle ein (Nosek & Lindsay, 2018). Paradoxerweise haben die methodischen Makel der Psychologie schlussendlich dazu geführt, dass sich das Fach verbessert und Lösungen entwickelt hat, die fächerübergreifend nutzbringend sein könnten. Trotz den vielen methodischen Schwächen in der Psychologie – in dieser Hinsicht könnten sich andere Disziplinen von der psychologischen Wissenschaft eine Scheibe abschneiden! 

«Psychology is a discipline that has always been very strong methodologically and was at the forefront at describing various biases and better methods. Now they are again taking the lead in improving their replication record.» John Ioannidis, 2016 (zitiert nach Goldhill, 2016) 

Eine Hass–Liebe 

Die Tatsache, dass die Debatte um die Wissenschaftlichkeit der Psychologie existiert und ständig heftig geführt wird, zeugt von einer gewissen Konfusion und Animosität rund um das Thema, sowohl in der Gesellschaft wie auch in der Akademie. So kann man sich fragen, welche Gründen eigentlich hinter der Debatte stecken. Eine mögliche Hypothese könnte lauten, dass harte Wissenschaften, die viel länger etabliert sind und somit auch mehr Respekt über die Zeit erworben haben, ihren Platz in der Wissenschaftshierarchie aufbewahren wollen, um die damit zusammenhängenden Vorteile zu behalten (Kraus, 2013). Dies könnte also als ein Fall von sozialem Vergleich in einer bedrohlichen Situation interpretiert werden (Taylor & Lobel, 1989). Dazu kommt, dass Akademiker*innen nur innerhalb ihres Forschungsgebiets Expert*innen sind. So wird das eigene Feld automatisch als Referenzpunkt genommen und es kann sein, dass alternative Herangehensweisen dadurch unterbewusst abgewertet werden. Darüber hinaus könnte man die Beziehung, die Laien zur Wissenschaft pflegen, als widersprüchlich kennzeichnen: Auf der einen Seite werden naturwissenschaftliche Fächer im kollektiven Imaginären auf ein Podest gestellt, während die Studien von anderen Disziplinen, die sich beispielsweise mit Geschichte, Kultur und Literatur beschäftigen, tendenziell als weniger anspruchsvoll und wertvoll angesehen werden (Burgard & Pokern, 2018). Auf der anderen Seite wird Wissenschaft von vielen Menschen missverstanden und bedauerlicherweise wird ihr oft missvertraut, was schwere Konsequenzen nach sich ziehen kann (Goldenberg, 2016). Dabei darf man aber nicht vergessen, dass die meisten Menschen keine vertiefte wissenschaftliche, geschweige denn meta-wissenschaftliche, Ausbildung erhalten und dass selbst im akademischen Bereich kein Konsens herrscht. Vielleicht sollten wir also versuchen, uns alle der Komplexität der Wissenschaft bewusster zu werden – sowohl ihrer Hindernisse als auch ihres unfassbaren Potenzials. 

In einem Paralleluniversum 
Schrödingers Katze (1935) ist die unglaublichste, die es gibt. Tatsächlich ist diese theoretisch in der Lage, gleichzeitig tot und lebendig zu sein (Collins, 2007). Doch sobald man in die Box schaut und somit diese verwunderliche Superposition von Zuständen versucht zu beobachten, ist die Katze entweder tot oder lebendig – nie beides. Wie geht das? Die Vertreter*innen der Theorie der multiplen Universen nehmen an, dass mehrere Welten parallel zu unserer Welt bestehen: Bei jedem Quantenexperiment mit mehreren möglichen Outcomes werden somit alle Outcomes realisiert; jedes jeweils in einer anderen Welt (Vaidman, 2014). Dabei können wir uns immer nur von der Welt mit dem gesehenen Outcome bewusst sein. Diese Interpretation, die auf Everett (1957) zurückgeht, ist jedoch bei weitem nicht die einzige. Physiker*innen konnten sich bis heute nicht einigen, welche die richtige ist (Collins, 2007). Die Frage nach der Natur unserer Wirklichkeit bleibt somit weitgehend offen. 

---

Zum Weiterlesen und -schauen

CrashCourse. (2018, March 27). Intro to History of Science: Crash Course History of Science #1 [Video file]. Retrieved from https://www.youtube.com/watch?v=YvtCLceNf30 

Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie du Sert, N., … Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1, 0021. doi: 10.1038/s41562-016-0021 

Literatur 

Andersen, H., & Hepburn, B. (2016). Scientific Method. The Stanford Encyclopedia of Philosophy. Retrieved from https://plato.stanford.edu/entries/scientific-method/ 

Berezow, A. B. (2012). Why psychology isn’t science. Los Angeles Times. Retrieved from https://www.latimes.com/opinion/la-xpm-2012-jul-13-la-ol-blowback-pscyhology-science-20120713-story.html 

Bishop, D. (2019). Rein in the four horsemen of irreproducibility. Nature, 568(7753), 435–435. doi: 10.1038/d41586-019-01307-2 

Bundesamt für Gesundheit (BAG) (2013). Häufige Fragen (FAQ) zum Psychologieberufegesetz (PsyG). Retrieved from https://www.bag.admin.ch/bag/de/home/berufe-im-gesundheitswesen/psychologieberufe/faq-psyg.html 

Burgard, O., & Pokern, T. (2018). Geisteswissenschaften: Nicht so sinnlos wie ihr Ruf. Zeit Campus. Retrieved from https://www.zeit.de/campus/2018/s1/geisteswissenschaften-bewerben-arbeitsmarkt-jobaussichten 

Carroll, Sean. (2013). What is science? Retrieved from https://www.preposterousuniverse.com/blog/2013/07/03/what-is-science/ 

Collins, G. P. (2007). The many interpretations of quantum mechanics. Scientific American. Retrieved from https://www.scientificamerican.com/article/the-many-interpretations-of-quantum-mechanics/ 

CrashCourse. (2018, April 25). India: Crash Course History of Science #4 [Video file]. Retrieved from https://www.youtube.com/watch?v=bDQkpNbsly4 

Derksen, A. A. (1993). The seven sins of pseudo-science. Journal for General Philosophy of Science, 24(1), 17–42. https://doi.org/10.1007/BF00769513 

Everett, H. (1957). «Relative state» formulation of quantum mechanics. Review of Modern Physics, 29(3), 454-462. Retrieved from https://journals.aps.org/rmp/abstract/10.1103/RevModPhys.29.454 

Fanelli, D. (2010). «Positive» results increase down the hierarchy of the sciences. PLoS ONE, 5(4), e10068. doi: 10.1371/journal.pone.0010068 

Fonagy, P. (2003). Psychoanalysis today. World Psychiatry, 2(2), 73-80. Retrieved from https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1525087/ 

Goldenberg, M. J. (2016). Public misunderstanding of science? Reframing the problem of vaccine hesitancy. Perspectives on Science, 24(5), 552-581. doi:10.1162/POSC_a_00223 

Goldhill, O. (2016). Many scientific «truths» are, in fact, false. Quartz. Retrieved from https://qz.com/638059/many-scientific-truths-are-in-fact-false/ 

Goodman, S. (2008). A dirty dozen: Twelve p-value misconceptions. Seminars in Hematology, 45, 135-140. doi: 10.1053/j.seminhematol.2008.04.003 

Gravetter, F. J., & Forzano, L.-A. B. (2016). Research methods for the behavioral sciences. Stamford, CT: Cengage Learning. 

Hansson, S. O. (2008). Science and pseudo-science. The Stanford Encyclopedia of Philosophy. Retrieved from https://plato.stanford.edu/entries/pseudo-science/ 

Head, M. L., Holman, L., Lanfear, R., Kahn, A. L., & Jennions, M. D. (2015). The extent and consequences of p-hacking in science. PLoS Biology, 13(3), e1002106. doi: 10.1371/journal.pbio.1002106  

Hussy, W., Schreier, M., & Echterhoff, G. (2013). Forschungsmethoden in Psychologie und Sozialwissenschaften für Bachelor (2nd ed.). Berlin/Heidelberg: Springer. 

Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. doi: 10.1371/journal.pmed.0020124 

Kallen, H. M. (2020). William James. Encyclopedia Britannica. Retrieved from https://www.britannica.com/biography/William-James 

Kerr, N. L. (1998). HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review, 2(3), 196-217. 

Kitcher, P. S. (2019). Philosophy of Science. Encyclopedia Britannica. Retrieved from https://www.britannica.com/topic/philosophy-of-science 

Koffka, K. (1935). Principles of Gestalt psychology. London: Routledge. 

Kraus, M. W. (2013). The psychology of the «psychology isn’t a science» argument. Psychology Today. Retrieved from https://www.psychologytoday.com/us/blog/under-the-influence/201308/the-psychology-the-psychology-isnt-science-argument 

Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie du Sert, N., … Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1, 0021. doi: 10.1038/s41562-016-0021 

Nosek, B. A., & Lindsay, D. S. (2018). Preregistration becoming the norm in psychological science. Association for Psychological Science. Retrieved from https://www.psychologicalscience.org/observer/preregistration-becoming-the-norm-in-psychological-science 

Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349(6251). doi: 10.1126/science.aac4716 

Schrödinger, E. (1935). Die gegenwärtige Situation in der Quantenmechanik. Naturwissenschaften, 23(48), 844-849. doi: 10.1007/BF01491987 

Snyder, L. (2019). William Whewell. Stanford Encyclopedia of Philosophy. Retrieved from https://plato.stanford.edu/entries/whewell/ 

Spencer, J. B., Brush, S. G., & Osler, M. J. (2019). Scientific Revolution. Encyclopedia Britannica. Retrieved from https://www.britannica.com/science/Scientific-Revolution 

Taylor, S. E., & Lobel, M. (1989). Social comparison activity under threat: downward evaluation and upward contacts. Psychological Review, 96(4), 569-75. Retrieved from https://taylorlab.psych.ucla.edu/wp-content/uploads/sites/5/2014/10/1989_Social-Comparison-Activity-Under-Threat.pdf 

Vaidman, L. (2014). Many-worlds interpretation of quantum mechanics. Stanford Encyclopedia of Philosophy. Retrieved from https://plato.stanford.edu/entries/qm-manyworlds/ 

Vergano, D. (2014). Who was Carl Sagan? National Geographic. Retrieved from https://www.nationalgeographic.com/news/2014/3/140316-carl-sagan-science-galaxies-space/ 

Williams, L. P. (2018). History of Science. Encyclopedia Britannica. Retrieved from https://www.britannica.com/science/history-of-science