Wstęp

Osobliwym i trwałym błędem ludzkiego rozumu jest to, że bardziej poruszają go i podniecają stwierdzenia niż zaprzeczenia.

Francis Bacon, Novum Organum (1620)[2]

31 stycznia 2011 roku świat dowiedział się, że studenci dysponują mocami paranormalnymi.

Tego dnia na pierwsze strony gazet trafił artykuł naukowy opisujący eksperyment laboratoryjny przeprowadzony na ponad tysiącu osobach, który wykazał istnienie prekognicji psychicznej - zdolności widzenia przyszłości za pomocą percepcji pozazmysłowej. Co więcej, nie było to dzieło jakiegoś nieznanego szaleńca: artykuł został napisany przez czołowego profesora psychologii Daryla Bema z należącego do Ivy League Cornell University. I nie pojawił się w jakiejś podejrzanej publikacji - opublikowano go w jednym z najbardziej cenionych, mainstreamowych, recenzowanych czasopism psychologicznych[3]. Wydawało się, że nauka oficjalnie uznała zjawisko, które dotychczas uważano za całkowicie niemożliwe.

W tym czasie sam byłem doktorantem i studiowałem psychologię na Uniwersytecie Edynburskim. Sumiennie przeczytałem artykuł Bema. Oto jak przebiegał jeden z eksperymentów: zadaniem studentów było wpatrywać się w ekran komputera, na którym pojawiały się dwa obrazy ukazujące zasłony. Powiedziano im, że za jedną z zasłon jest jeszcze jeden obraz i że muszą kliknąć na kurtynę, za którą, jak im się wydaje, mógł się znajdować. Ponieważ nie mieli żadnych innych informacji, mogli tylko zgadywać. Po dokonaniu wyboru kurtyna znikała i mogli zobaczyć, czy mieli rację. Powtarzano to trzydzieści sześć razy, po czym eksperyment dobiegał końca. Wyniki były dość oszałamiające. Kiedy za jedną z zasłon znajdowało się zdjęcie jakiegoś neutralnego, banalnego przedmiotu, takiego jak krzesło, wynik był prawie całkowicie przypadkowy: studenci wybierali poprawnie w 49,8% przypadków, zasadniczo pół na pół. Jednak - i tu zaczyna się robić ciekawie - kiedy jedno ze zdjęć było pornograficzne, studenci wybierali je nieco częściej niż należało się spodziewać: dokładnie w 53,1% przypadków. To znaczy, że osiągnięto próg "istotności statystycznej". W artykule Bem zasugerował, że jakieś nieświadome, nabyte w drodze ewolucji, psychiczne pożądanie seksualne delikatnie popychało studentów w stronę obrazu o treści erotycznej, jeszcze zanim pojawił się on na ekranie[4].

Niektóre inne eksperymenty Bema były mniej odważne, ale nie mniej zagadkowe. Podczas jednego nich na ekranie pojawiła się lista czterdziestu niepowiązanych ze sobą słów, jedno po drugim. Potem nastąpił niezapodziewany test pamięci, w którym studenci musieli wpisać tyle słów, ile zdołali zapamiętać. W tym momencie komputer losowo wybierał dwadzieścia słów i ponownie pokazywał je studentom. Na tym eksperyment się kończył. W raporcie Bem stwierdził, że podczas testu pamięci studenci częściej zapamiętywali dwadzieścia słów, które mieli zobaczyć ponownie, mimo że nie mogli wiedzieć - z wyjątkiem psychicznej intuicji - które z nich zostaną im pokazane. Przypominało to trochę uczenie się do egzaminu, zdanie egzaminu, a potem ponowną naukę - coś w rodzaju cofnięcia się w czasie, aby poprawić ocenę. Nie zostały nagle złamane prawa fizyki, czas miał wciąż biec tylko w jednym kierunku - przyczyny miały pojawić się przed, a nie po skutkach. Niemniej wraz z publikacją artykułu Bema te dziwaczne wyniki stały się częścią literatury naukowej.

Co najważniejsze, eksperymenty Bema były niezwykle proste i nie wymagały niczego bardziej skomplikowanego niż zwykły komputer stacjonarny. Jeśli Bem miał rację, każdy naukowiec mógłby przedstawić dowody na zjawiska paranormalne, po prostu postępując zgodnie z jego instrukcjami eksperymentalnymi - nawet zwykły doktorant bez środków finansowych. Tym ostatnim byłem ja sam i tak właśnie zrobiłem. Skontaktowałem się z dwoma innymi psychologami, którzy również byli sceptycznie nastawieni do wyników Bema, Richardem Wisemanem z University of Hertfordshire i Chrisem Frenchem z Goldsmiths, University of London. Uzgodniliśmy, że trzykrotnie powtórzymy eksperyment Bema z listą słów, raz na każdym z uniwersytetów. Po kilku tygodniach rekrutacji uczestników, oczekiwaniu, aż zakończą test pamięci, a następnie poradzeniu sobie z ich zdezorientowanymi spojrzeniami, gdy wyjaśnialiśmy później, czego szukaliśmy, otrzymaliśmy wyniki. Nie pokazały... niczego. Nasi studenci nie byli jasnowidzami: po teście nie było różnicy w przypominaniu sobie prezentowanych słów. Być może jednak prawa fizyki są bezpieczne.

Należycie spisaliśmy wyniki i napisany na ich podstawie artykuł wysłaliśmy do tego samego czasopisma naukowego, które opublikowało badanie Bema, "Journal of Personality and Social Psychology". Niemal od razu zatrzaśnięto nam drzwi przed nosem. Po kilku dniach otrzymaliśmy wiadomość z redakcji, w której wyjaśniono, że zgodnie z polityką pismo nigdy nie publikowało badań, które powtarzały poprzedni eksperyment, niezależnie od tego, czy powtórne badania dały takie same wyniki jak oryginalne[5].

Czy myliliśmy się, czując się urażeni? W czasopiśmie opublikowano artykuł, który zawierał niezwykle odważne twierdzenia - twierdzenia, które, jeśli tylko prawdziwe, byłyby nie tylko interesujące dla psychologów, lecz także całkowicie zrewolucjonizowałyby naukę. Wieść o wynikach badań przedostała się do opinii publicznej i zyskały znaczny rozgłos w popularnych mediach, czego apogeum było zaproszenie Bema do emitowanego w późnych godzinach wieczornych talk show The Colbert Report, w którym gospodarz ukuł pamiętne sformułowanie o "podróżującej w czasie pornografii"[6]. Jednak redaktorzy nawet nie rozważyli możliwości opublikowania powtórki badania, które podważyłoby ustalenia Bema[7].

W tym czasie pojawiła się inna sprawa, która również spowodowała, że pojawiły się niepokojące pytania na temat obecnego stanu praktyki naukowej. "Science", powszechnie uznawane za jedno z najbardziej prestiżowych czasopism naukowych na świecie (drugie po "Nature"), opublikowało artykuł Diederika Stapela, psychologa społecznego z Uniwersytetu w Tilburgu w Holandii. W artykule, zatytułowanym Coping with Chaos (Poradzić sobie z chaosem), opisano kilka badań przeprowadzonych w laboratorium i na ulicy, z których wynikało, że ludzie okazywali więcej uprzedzeń - i popierali więcej stereotypów rasowych - w bardziej zdezorganizowanym lub brudnym środowisku[8]. Ten i dziesiątki innych artykułów Stapela trafiły na pierwsze strony gazet na całym świecie. "Chaos sprzyja tworzeniu stereotypów" - jak napisano w serwisie informacyjnym "Nature". "Gdzie są śmieci, tam jest rasizm" - grzmiał "Sydney Morning Herald"[9]. Wyniki były przykładem rodzaju badań z zakresu psychologii społecznej, które dały łatwe do zrozumienia wnioski, a te, jak napisał sam Stapel, miały "jasne implikacje polityczne": w tym przypadku "wczesne diagnozowanie zaburzeń środowiskowych i natychmiastowa interwencja"[10].

Problem polegał na tym, że nic z tego nie było prawdziwe. Wyniki eksperymentów Stapela były trochę aż nazbyt doskonałe, co spowodowało, że jego koledzy nabrali podejrzeń. Ale nie tylko to - podczas gdy starsi pracownicy naukowi zwykle są bardzo zajęci i polegają na swoich studentach w wykonywaniu tak mało wymagających zadań, jak zbieranie danych, Stapel najwyraźniej wyruszył w teren i sam zebrał wszystkie informacje. Po tym, jak we wrześniu 2011 roku jego współpracownicy zgłosili swoje obawy na uczelni, Stapel został zawieszony w pełnieniu obowiązków profesora. Przeprowadzono kilka dochodzeń[11].

W napisanej później autobiografii Stapel przyznał, że zamiast zbierać dane do badań, siedział samotnie w biurze lub przy kuchennym stole do późnych godzin nocnych, wpisując w arkuszu kalkulacyjnym liczby potrzebne do wyimaginowanych wyników, wymyślając je wszystkie od podstaw. "Zrobiłem kilka rzeczy, które były okropne, może nawet obrzydliwe" - przyznał. "Sfałszowałem dane badawcze i wymyśliłem badania, które nigdy nie miały miejsca. Pracowałem sam, dokładnie wiedząc, co robię... Nic nie czułem: ani wstrętu, ani wstydu, ani żalu"[12]. Jego naukowe oszustwo było zaskakująco skomplikowane. "Wymyśliłem całe szkoły, w których prowadziłem badania, nauczycieli, z którymi omawiałem eksperymenty, wykłady, które prowadziłem, lekcje wiedzy o społeczeństwie, w których brałem udział, prezenty, które wręczałem jako podziękowanie"[13].

Stapel opisał, jak drukował puste arkusze, które rzekomo miał rozdawać uczestnikom badań, jak pokazywał je kolegom i studentom, ogłaszając, że wyrusza, aby prowadzić analizy... a następnie, gdy nikt nie widział, oddawał kartki do recyklingu. To nie mogło się udać. Wyniki dochodzeń były jednoznaczne - niedługo po zawieszeniu został zwolniony z uczelni. Od tego czasu anulowano co najmniej pięćdziesiąt osiem z jego badań - wykreślono je z rejestru naukowego - z powodu fałszywych danych.

Sprawy Bema i Stapela - w których szacowni profesorowie opublikowali ewidentnie nieprawdopodobne wyniki (w przypadku Bema) i jawnie oszukańcze (w przypadku Stapela) - wywołały wstrząs w badaniach psychologicznych i nauce jako takiej. Jak prestiżowe czasopisma naukowe mogły pozwolić na takie publikacje? Ile ogłoszono innych badań, którym nie można ufać? Okazało się, że przypadki te były doskonałymi przykładami znacznie szerszych problemów związanych ze sposobem, w jaki uprawiamy naukę.

W obu sprawach podstawowy problem dotyczył replikacji. Aby odkrycie naukowe było warte poważnego traktowania, nie może się wydarzyć wyłącznie na skutek przypadku, usterki sprzętu lub dlatego, że badacz oszukiwał lub postępował nieuczciwie. Musi się stać naprawdę. A jeśli tak, to w zasadzie powinienem być w stanie wyjść i znaleźć zasadniczo takie same wyniki. Pod wieloma względami jest to istota nauki i coś, co odróżnia ją od innych sposobów poznawania świata: jeśli czegoś nie można powtórzyć, to, co zrobiliście, trudno w ogóle nazwać naukowym.

Niepokoi zatem nie to, że eksperymenty Bema były niewiarygodne albo że Stapela wytworem jego własnej wyobraźni: pewne pomyłki i fałszywe wyniki zawsze będą z nami (podobnie, niestety, jak oszuści)[14]. Prawdziwym problemem było to, jak społeczność naukowa przeszła nad obiema sytuacjami do porządku dziennego. Próba powtórzenia eksperymentu Bema została bezceremonialnie odrzucona przez czasopismo, które opublikowało wyniki oryginału - z kolei w przypadku Stapela nikt nawet nie starał się powtórzyć jego odkryć. Innymi słowy, społeczność naukowa dowiodła, że była gotowa wziąć dramatyczne twierdzenia płynące z owych badań za dobrą monetę, bez sprawdzania, czy ich wyniki są naprawdę wiarygodne. Jeśli nie ma kontroli powtarzalności wyników, skąd mamy wiedzieć, że nie są to zwykłe przypadki lub fałszerstwa?

Być może sam Bem najlepiej podsumował stosunek wielu naukowców do replikacji w wywiadzie, którego udzielił kilka lat po swoich niesławnych badaniach. "Jestem za rygorem" - stwierdził - "ale nie mam do tego cierpliwości... Jeśli spojrzysz na wszystkie moje wcześniejsze eksperymenty, zawsze były to chwyty retoryczne. Zbierałem dane, aby pokazać, w jaki sposób powinien zostać przedstawiony mój punkt widzenia. Użyłem danych jako elementu perswazji i nigdy tak naprawdę nie martwiłem się tym: "Czy uda się to powtórzyć, czy nie?""[15].

Obawa, czy wyniki da się powtórzyć, czy nie, nie jest czymś opcjonalnym. To podstawowy element ducha nauki - przejawiającego się w systemie recenzowania i publikacji w czasopismach, który działa jako bastion przeciwko fałszywym odkryciom, błędnym eksperymentom i podejrzanym danym. Jak jednak pokaże ta książka, system ten ma poważne braki. Ważne informacje, odkryte przez naukowców, ale uznane za niewystarczająco interesujące, aby je opublikować, są zmieniane lub ukrywane, przeinaczając dokumentację naukową i niszcząc medycynę, technologię, reformy edukacyjne i politykę rządu. Powoduje to też, że ogromne zasoby inwestowane w naukę w oczekiwaniu na użyteczny zwrot są marnowane na badania całkowicie pozbawione znaczenia. "Linię Maginota" recenzji bez większych problemów przekraczają błędy i wpadki, których moglibyśmy uniknąć. W najgorszych przypadkach, szczególnie jeśli chodzi o medycynę, kończy się to śmiercią ludzi.

W innych książkach naukowcy walczą z całą galerią pseudonaukowców: kreacjonistów, homeopatów, płaskoziemców, astrologów i im podobnych, którzy źle rozumieją naukę i jej nadużywają - zwykle nieświadomie, czasem złośliwie, ale zawsze nieodpowiedzialnie[16]. Ta książka jest inna. Jej celem jest ujawnienie poważnych błędów w samej nauce: błędów, które wpływają na kulturę, w której prowadzi się i publikuje badania. Nauka, obszar, w którym powinniśmy znaleźć najostrzejszy sceptycyzm, najbardziej przenikliwą racjonalność i najtwardszy empiryzm, stała się domem dla oszałamiającej gamy niekompetencji, złudzeń, kłamstw i samooszukiwania się. W tym procesie podważony zostaje jej zasadniczy cel - odnajdowanie drogi do coraz lepszego poznania prawdy.

Książka zaczyna się od pokazania, w części I, że uprawianie nauki to dużo więcej niż tylko przeprowadzanie eksperymentów lub testowanie hipotez. Nauka z samej natury jest rzeczą społeczną, w której trzeba przekonać innych ludzi - innych naukowców - do tego, co zostało odkryte. Ponieważ nauka jest również rzeczą ludzką, wiemy, że aby dostać to, czego chce, każdy naukowiec będzie ulegał ludzkim słabościom, takim jak irracjonalność, uprzedzenia, brak uwagi, faworyzowanie w ramach grupy i jawne oszustwa. To dlatego kiedy dochodzi do próby przekroczenia nieodłącznych ograniczeń natury ludzkiej, aby dać naukowcom możliwość wzajemnego przekonywania się, nauka rozwinęła system kontroli i równowagi, który - w teorii - oddziela naukowe ziarno od plew. Ten proces kontroli i walidacji, prowadzący do hipotetycznego złotego standardu publikacji w recenzowanym czasopiśmie naukowym, opisano w rozdziale 1. Ale, jak dowodzę w rozdziale 2, proces ten musiał pójść bardzo źle: istnieje wiele opublikowanych odkryć z wielu różnych dziedzin nauki, których nie można powtórzyć i których prawdziwość jest bardzo wątpliwa.

W części II zadaję pytanie, jak do tego doszło. Odkryję, że system publikacji, daleki od neutralizacji lub pomijania wszystkich ludzkich słabości, pozwala im na pozostawienie swojego śladu w dorobku naukowym - i robi to właśnie dlatego, że istnieje przekonanie, iż jest on obiektywny i bezstronny. Mamy do czynienia z samozadowoleniem, wręcz dziwaczną arogancją, gdzie sam fakt istnienia systemu recenzowania prac zdaje się powstrzymywać przed wskazaniem jego wad. Recenzowane artykuły są podobno tak blisko, jak tylko możliwe obiektywnego, opartego na faktach opisu tego, jak działa świat. Ale przeglądając dziesiątki takich artykułów, dostrzeżemy, że recenzje w żadnym razie nie gwarantują, iż naukowcy są uczciwi (rozdział 3), zdystansowani (rozdział 4), skrupulatni (rozdział 5) lub trzeźwo myślący (rozdział 6) w kwestii ich wyników.

W części III zagłębiam się w praktykę naukową. W rozdziale 7 pokazuję, że nie chodzi tylko o to, iż system nie radzi sobie ze wszystkimi rodzajami nadużyć, które wskazano wcześniej. W rzeczywistości sposób, w jaki obecnie prowadzone są badania akademickie, sprzyja problemom, zachęcając badaczy do swego rodzaju obsesji na punkcie prestiżu, sławy, kwestii finansowych i reputacji, co odbywa się kosztem rygorystycznych, wiarygodnych wyników. Wreszcie, po zdiagnozowaniu problemu, w rozdziale 8 opisuję propozycje serii często radykalnych reform praktyki naukowej, które mogą pomóc w reorientacji jej w kierunku pierwotnego celu: odkrywania faktów o świecie.

W całej książce, przedstawiając argumenty dowodzące słabości badań naukowych, odwołuję się do alarmujących historii z wielu różnych dziedzin naukowych. Częściowo dlatego, że jestem psychologiem, przeważać będą przykłady związane z tą dziedziną[17]. Moje wykształcenie nie jest jedynym powodem, dla którego w książce jest tak dużo psychologii: dzieje się tak również dlatego, że po aferach Bema i Stapela (między innymi) psychologowie zaczęli się angażować w intensywne poszukiwania tego, jak przebiega sposób myślenia. Być może bardziej niż w jakiejkolwiek innej dziedzinie zaczęliśmy rozpoznawać nasze głęboko zakorzenione wady i opracowywać systematyczne sposoby radzenia sobie z nimi - które zaczynają być przyjmowane także w wielu innych dziedzinach nauki.

Pierwszym krokiem ku naprawie niesprawnego systemu naukowego jest nauczenie się dostrzegania i poprawiania błędów, które mogą prowadzić na manowce. Jedynym sposobem na to jest większe skupienie na nauce. W całej książce korzystam z metanauki: stosunkowo nowego rodzaju badań naukowych, które skupiają się na różnych aspektach samych badań naukowych. Jeśli nauka jest procesem ujawniania i eliminowania błędów, metanauka gwarantuje, że proces ten jest skierowany do wewnątrz.

Wiele można się nauczyć na błędach. Na jednym z albumów muzyk Todd Rundgren zamieścił krótkie wprowadzenie, w którym zachęca słuchaczy do zagrania w grę Dźwięki ze studia. Opisuje w nim wszystkie błędy, które można popełnić podczas nagrywania muzyki: buczenie, syczenie, trzaski w mikrofonie, gdy ktoś śpiewa słowo zawierające "p", kłopoty z montażem itp. Sugeruje też, aby słuchacz zwrócił uwagę na te pomyłki w następnych piosenkach i na innych płytach. Tak jak lepsze zrozumienie wpadek w studiach nagraniowych może dać nowe spojrzenie na to, jak powstaje muzyka, tak poznanie błędów w nauce może wiele powiedzieć o procesie, dzięki któremu dochodzimy do wiedzy.

Odkrycie poważnych problemów związanych ze sposobem, w jaki uprawiamy naukę, jest czymś niepokojącym. Ile intrygujących wyników badań, o których czytaliście w wiadomościach i książkach popularnonaukowych lub które oglądaliście w filmach dokumentalnych - odkryciach, którymi byliście na tyle podekscytowani, aby podzielić się nimi z przyjaciółmi, lub które skłoniły was do ponownego przemyślenia tego, jak działa świat - opiera się na kiepskich, niereplikowalnych badaniach? Ile razy lekarz przepisał wam lek lub inną kurację, które opierają się na błędnych dowodach? Ile razy zmienialiście dietę, nawyki zakupowe lub inny aspekt stylu życia na podstawie badania naukowego tylko po to, by kilka miesięcy później jego dowody zostały całkowicie obalone przez nowe badanie? Ile razy politycy ustanawiali nowe prawa lub podejmowali działania, które bezpośrednio ingerują w życie ludzi, powołując się na badania naukowe, które nie wytrzymały kontroli? W każdym przypadku odpowiedź brzmi: znacznie częściej, niż sądzicie.

Naiwnością jest nadzieja, że każde badanie naukowe okaże się prawdą - że mamy przed sobą raport napisany na podstawie żelaznych faktów, które nigdy nie zostaną obalone w przyszłych badaniach. Świat jest na to zbyt skomplikowany. Wszystko, na co możemy mieć nadzieję, to to, że nasze badania naukowe są godne zaufania - rzetelnie ukazują to, co się w nich wydarzyło. Jeśli zaufania tego nie może zagwarantować tak wychwalany proces recenzowania, nauka traci jedną ze swoich najbardziej podstawowych i najbardziej pożądanych cech, a zarazem zdolność do czynienia tego, co robi najlepiej: rewolucjonizowania świata dzięki stałemu postępowi w postaci nowych odkryć, technologii, terapii i leków.

Przybywam jednak, aby wychwalać wiedzę, a nie ją pogrzebać - ta książka nie jest w żadnym razie atakiem na samą naukę ani jej metody. Jest raczej obroną tych metod oraz bardziej ogólnie zasad naukowych przed obecnym sposobem uprawiania nauki. To, co sprawia, że wszystkie katastrofy, które napotkamy, są tak niepokojące, to znaczenie nauki: pozwalając, aby zaufanie do niej zostało tak nadszarpnięte, a jej postęp tak mocno zahamowany, grozi tym, że jedno z największych osiągnięć naszego gatunku popadnie w ruinę.

Jednak szkody nie są nieodwracalne. W zasadzie jeśli nawet nie widać tego w praktyce, nauka nadal ma potencjał, aby być solidnym i niezawodnym systemem wiedzy, jakiego potrzebujemy. Analizując przedstawioną w tej książce całą litanię naukowych niepowodzeń, warto mieć na uwadze pozytywną myśl - kruchy skrawek nadziei i pewności wyłaniający się z puszki Pandory oszustwa, uprzedzeń, zaniedbań i szumu informacyjnego, którą otworzymy w dalszej części - że przecież niemal wszystkie te problemy zostały odkryte przez innych naukowców. Błyskotliwe idee metanaukowe zaproponowane w celu zwalczania tych problemów i uporządkowania powstałego bałaganu pochodzą w znacznej części od samej społeczności naukowej. Nawet jeżeli w wielu dziedzinach zostało to głęboko pogrzebane, duch samokrytyki, który ożywia prawdziwą naukę, pozostaje wciąż żywy.

I to jest również pozytywna wizja, ponieważ - jak zaraz się dowiemy - panuje tu niezły bałagan.

1Jak działa nauka

Takie zagadnienia nie dostarczają właściwego zajęcia w samotności, lecz wymagają towarzystwa i rozmowy z innymi istotami naszego rodzaju, by stanowić właściwe ćwiczenie dla umysłu.

David Hume, O pisaniu esejów[18]

Nauka jest konstruktem społecznym.

Zanim stwierdzenie to sprawi, że rzucicie książkę w kąt pokoju, pozwólcie, że wyjaśnię, jak to rozumiem. Nie mam na myśli tego w sensie, w jakim stosują je skrajni relatywiści, postmoderniści, antynaukowi krzyżowcy i inni, którzy sugerują, że nie ma prawdziwego świata, a nauka jest tylko jednym, niezbyt szczególnym sposobem poznania go albo nawet, że nauka jest tylko jednym spośród wielu "mitów", w które możemy wierzyć[19]. Nauka pozwoliła leczyć choroby, sporządzić mapę mózgu, przewidzieć zmiany klimatyczne i rozszczepić atom - jest to najlepsza metoda, jaką mamy, aby się dowiedzieć, jak działa wszechświat, i nagiąć go do naszej woli. Innymi słowy, jest to nasz najlepszy sposób zbliżania się do prawdy. Oczywiście możemy nigdy tego w pełni nie osiągnąć - wystarczy krótki rzut oka na historię, aby wykazać, jaką pychą jest twierdzenie, że jakiekolwiek fakty są absolutne lub niezmienne. Aby przyspieszyć drogę do lepszej wiedzy o świecie, dokładamy wszelkich starań, by nasze metody uprawiania nauki były tak dobre, jak to tylko możliwe.

Ale nie możemy czynić postępów samymi metodami. Nie wystarczy samotna obserwacja w laboratorium - trzeba także przekonać innych naukowców, że odkryłeś coś prawdziwego. Tutaj pojawia się część społeczna. Filozofowie od dawna dyskutują, jak istotne jest to, aby badacze pokazali innym naukowcom, w jaki sposób doszli do swoich wniosków. Jak ostrzega John Stuart Mill:

Nawet w naukach przyrodniczych istnieje zawsze jakieś inne możliwe wyjaśnienie tych samych faktów; jakaś teoria geocentryczna zamiast heliocentrycznej, jakiś flogiston zamiast tlenu; i należy wykazać, dlaczego ta druga teoria nie może być prawdziwa; a dopóki tego nie wykazano i dopóki nie wiemy, w jaki to wykazano sposób, nie rozumiemy podstaw naszej opinii[20].

Naukowcy pracują w zespołach, razem podróżują po świecie, wygłaszając wykłady i przemówienia na konferencjach, dyskutują ze sobą na seminariach, tworzą towarzystwa naukowe, aby dzielić się wynikami badań i, co być może najważniejsze, publikują wyniki w recenzowanych czasopismach. Te aspekty społeczne to nie tylko dodatek do pracy ani zwykłe koleżeństwo. To element procesu nauki w działaniu: nieustanny ciąg zbiorowej analizy, kwestionowania, rewizji, udoskonalania i konsensusu. Choć z początku może to zabrzmieć paradoksalnie, subiektywny proces nauki jest tym, co zapewnia jej niezrównany stopień obiektywności[21].

W tym sensie nauka jest konstruktem społecznym. Każde twierdzenie o świecie można określić jako wiedzę naukową dopiero, gdy przejdzie ono przez ten wspólny proces, który ma na celu odsianie błędów i pomyłek oraz umożliwienie innym badaczom stwierdzenia, czy oceniają nowe odkrycie jako wiarygodne, solidne i ważne. To, że każde odkrycie musi poradzić sobie z takim wyzwaniem sprawia, że ostateczne wytwory procesu naukowego - opublikowane, recenzowane badania - mają ogromną władzę w społeczeństwie. Nie chodzi o zwykłą przechwałkę, zwrot retoryczny ani opinię, kiedy mówimy: to jest nauka.

Społeczna natura nauki powoduje jednak, że ma ona słabości. Ponieważ badacze tak bardzo koncentrują się na próbach przekonania swoich kolegów, dzięki temu gwarantując swoim badaniom pozytywne recenzje i publikację, zbyt łatwo przychodzi im zlekceważyć prawdziwy cel nauki: przybliżenie nas do prawdy. A ponieważ naukowcy są istotami ludzkimi, sposoby, na jakie próbują się nawzajem przekonać, nie zawsze są w pełni racjonalne lub obiektywne[22]. Jeśli zatem nie zachowamy wielkiej ostrożności, proces naukowy może zostać przesiąknięty typowo ludzkimi wadami.

Celem tej książki jest wykazanie, że nie zadbaliśmy wystarczająco o jakże cenny proces naukowy. Opowiada ona o tym, jak doszliśmy do systemu, który nie tylko akceptuje nasze ludzkie słabości, lecz nawet je wzmacnia. W ostatnich latach staje się coraz bardziej boleśnie oczywiste, że procedura recenzowania jest daleka od gwarancji dokładności i rzetelności, a system publikacji, który ma być kluczową siłą nauki, stał się jej piętą achillesową.

Aby jednak zrozumieć, do jakiego stopnia system publikacji naukowych uległ erozji, najpierw trzeba wiedzieć, jak powinien działać, gdy wszystko idzie dobrze.

Wyobraźmy sobie, że chcecie się zająć nauką. Pierwszym krokiem jest zapoznanie się z literaturą naukową. Składa się na nią ogromna biblioteka czasopism, specjalistycznych periodyków, które są głównym ujściem dla nowej wiedzy naukowej. Idea czasopisma, w którym naukowcy mogliby dzielić się swoją pracą, sięga roku 1665, kiedy Henry Oldenburg z brytyjskiego Towarzystwa Królewskiego opublikował pierwszy numer czegoś, czego pełny tytuł brzmiał "Philosophical Transactions: Giving Some Accompt of the Present Undertakings, Studies, and Labours of the Ingenious in Many Considerable Parts of the World"[23]. W zamierzeniu było to miejsce, gdzie ówcześni genialni badacze mogli wysyłać listy opisujące swoje wyczyny, aby mogli się z nimi zapoznać inni zainteresowani czytelnicy. Wcześniej naukowcy pracowali albo samotnie na dworach bogatych władców, albo dla prywatnych mecenasów lub cechów (gdzie ich nauka była często postrzegana bardziej jako salonowe sztuczki niż próba odkrycia prawdy), samodzielne publikowali książki lub tworzyli kręgi podobnie myślących osób piszących do siebie listy. Ten rodzaj klubu korespondencyjnego był często miejscem, w którym powstały instytucje takie jak brytyjskie Towarzystwo Królewskie[24].

Początkowe numery czasopisma Oldenburga przypominały raczej biuletyn zawierający opisy ówczesnych eksperymentów i odkryć. Na przykład w tomie 1 numerze 1 opisano pierwszą w historii obserwację czegoś, co prawdopodobnie było Wielką Czerwoną Plamą na Jowiszu, dokonaną przez filozofa przyrody i erudytę Roberta Hooke'a. Cały wpis brzmi następująco:

Genialny pan Hook kilka miesięcy temu wyznał swemu przyjacielowi, że parę dni przed ową rozmową zaobserwował za pomocą wspaniałego dwunastostopowego teleskopu (zob. 9 maja, 1664, około godziny 9 w nocy) małą plamę na największym z 3 mniej znanych pasów Jowisza. Obserwując ją od czasu do czasu, stwierdził, że 2 godziny później rzeczona plama przesunęła się ze wschodu na zachód, mniej więcej o połowę długości średnicy Jowisza[25].

Czasopismo to istnieje do dziś, pod nieco łatwiejszym do zapamiętania tytułem "Philosophical Transactions of the Royal Society"[26]. Z biegiem czasu krótkie wiadomości zostały zastąpione dłuższymi artykułami, zawierającymi szczegółowe opisy eksperymentów i badań. Obecnie jest częścią globalnego ekosystemu liczącego ponad 30 000 czasopism, od bardzo ogólnych (jak wysoce prestiżowe czasopisma "Nature" i "Science", których celem jest publikowanie najbardziej godnych uwagi badań na świecie z dowolnej dziedziny naukowej) do bardzo szczegółowych (jak "American Journal Potato Research", które jest zainteresowane tylko artykułami na temat jednego konkretnego bulwiastego zagadnienia)[27]. Niektóre czasopisma, takie jak "Philosophical Transactions", nadal są prowadzone przez towarzystwa naukowe, ale większość jest własnością firm komercyjnych, takich jak Elsevier, Wiley i Springer Nature[28]. Niedawnym osiągnięciem jest to, że wszystkie czasopisma naukowe są dostępne online, dzięki czemu każdy, kto może sobie pozwolić na opłacenie abonamentu wydawcy - lub jeśli biblioteka uniwersytecka zrobi to w jego imieniu - ma na wyciągnięcie ręki wiedzę z całego świata[29].

Po przeczytaniu czasopism należących do swojej dziedziny naukowej możecie zadać sobie pytanie badawcze. Być może istnieje już teoria naukowa, która zawiera prognozę - hipotezę - którą można w jakiś sprytny sposób przetestować. Może istnieje w obecnej wiedzy jakaś luka, o wy wiecie, jak ją załatać - może mieliście iskierkę inspiracji i wymyśliliście eksperyment, który pozwoli zbadać coś zupełnie nowego. Zanim jednak to się stanie, zwykle potrzebujecie nieco pieniędzy na sfinansowanie badania, na przykład na zakup nowego sprzętu lub materiałów, rekrutację uczestników lub opłacenie pensji naukowców, których zatrudnicie. Jeżeli nie jesteście, powiedzmy, firmą farmaceutyczną, którą stać na prowadzenie własnych laboratoriów, głównym sposobem na uzyskanie takich pieniędzy jest złożenie wniosku o grant. Może on pochodzić od rządu, firmy, funduszu kapitałowego, organizacji non-profit, organizacji charytatywnej, a nawet zamożnej osoby. Można złożyć wniosek do National Institutes of Health lub National Science Foundation (amerykańskie agencje finansowane przez podatników) lub do organizacji charytatywnej finansującej naukę, takiej jak Wellcome Trust lub Bill & Melinda Gates Foundation[30].

Finanse nie są wcale sprawą oczywistą i każdy naukowiec powie, że jedną z najbardziej wyczerpujących części pracy jest próba sfinansowania najnowszych pomysłów badawczych, a niepowodzenia są powszechne. Potrzeba pieniędzy ma istotny wpływ na samą naukę i dlatego wrócimy do niej jeszcze w dalszej części książki. Ale tymczasem wyobraźmy sobie, że udało się zdobyć dotację. Teraz można się zabrać do pracy. Gromadzenie danych może obejmować rozbijanie cząstek w ukrytym pod ziemią zderzaczu, poszukiwanie skamielin w skałach kanadyjskiej Arktyki, tworzenie idealnego środowiska dla rozwoju bakterii na płytce Petriego, organizowanie setek ludzi, aby przyszli do laboratorium i wypełnili kwestionariusze, lub opracowanie złożonego modelu komputerowego - może to zająć dni, miesiące, dekady.

Po wprowadzeniu danych zwykle będziecie mieli zestaw liczb, które wy sami lub wasz bardziej matematycznie utalentowany współpracownik przeanalizujecie za pomocą różnych statystyk (kolejne pole minowe, do którego jeszcze wrócimy). Następnie trzeba to wszystko podsumować w formie artykułu naukowego. Typowy zaczyna się od wprowadzenia, w którym podsumowujecie, co wiadomo na ten temat i co wnosi wasze badanie. Następną częścią jest dokładny opis metod badawczych - na tyle szczegółowo, aby, przynajmniej teoretycznie, każdy był w stanie dokładnie powtórzyć ten sam eksperyment. Kolejna jest sekcja "Wyniki", w której przedstawiacie liczby, tabele, wykresy i analizy statystyczne dokumentujące wasze ustalenia, a kończy wszystko sekcja "Dyskusja", w której dziko spekulujecie - hmm... oczywiście mam na myśli to, że przedstawiacie rozważne przemyślenia. Całość kończy streszczenie (abstrakt): krótkie, zwykle składające się z około 150 słów stwierdzenie, które podsumowuje badanie i jego wyniki. Streszczenie jest zawsze dostępne do przeczytania, nawet jeśli cały artykuł jest dostępny w ramach płatnej subskrypcji czasopisma, więc warto go wykorzystać, aby wyniki brzmiały przekonująco. Można znaleźć artykuły każdej długości i objętości - czasami powyższa kolejność jest inna, ale z zasady artykuł kończy się w ten właśnie sposób[31].

Kiedy już jest gotowy, wkraczacie w świat czasopism naukowych i współzawodnictwa o publikację. Do niedawna wysłanie artykułu do czasopisma oznaczało wydrukowanie kilku egzemplarzy i wysłanie ich pocztą do redakcji, ale obecnie wszystko odbywa się online - wiele czasopism nadal jednak korzysta z tak archaicznych, pełnych błędów stron internetowych, że równie dobrze można wysłać artykuł gołębiem pocztowym. Redaktor czasopisma, często starszy pracownik naukowy, czyta maszynopis (lub, bądźmy szczerzy, prawdopodobnie tylko streszczenie) i decyduje, czy warto go opublikować. Większość czasopism, zwłaszcza tych bardzo prestiżowych, szczyci się swoją ekskluzywnością, a tym samym niskim współczynnikiem akceptacji (na przykład "Science" przyjmuje mniej niż 7% zgłoszonych prac), więc większość artykułów zostanie zwrócona autorom w tym właśnie momencie, podczas tzw. desk rejection[32]. Jest to pierwszy krok kontroli jakości pracy: dokonywana przez redaktora artykułów selekcja na te, które pasują do tematyki czasopisma i mają potencjał pod względem zainteresowania naukowego lub jakości, oraz te, które nie przedstawiają większej wartości. W przypadku ułamka artykułów, które spodobają się redaktorowi, nadchodzi moment recenzowania. Zadaniem redaktora jest znalezienie dwóch lub trzech naukowców, którzy są ekspertami w twojej dziedzinie badań, i poproszenie ich o ocenę waszego artykułu. Prawdopodobnie odmówią, ponieważ są zbyt zajęci, więc redaktor będzie przeglądał listę potencjalnych recenzentów, dopóki kilku z nich się nie zgodzi. Zaczyna się czas nerwowego obgryzania paznokci w oczekiwaniu na informację, czy wasza praca otrzyma ich poparcie.

Większość ludzi, w tym naukowcy, zakłada, że recenzowanie zawsze było kluczową cechą publikacji naukowych, ale jego historia jest bardziej skomplikowana. Chociaż już w XVII wieku Towarzystwo Królewskie miało zwyczaj pytania niektórych członków o to, czy uważają, że artykuł jest wystarczająco interesujący, aby opublikować go w "Philosophical Transactions", to wymaganie pisemnej oceny każdego badania nie było stosowane co najmniej do 1831 roku[33]. Jednak system formalnego recenzowania, który znamy dzisiaj, nie był powszechną procedurą jeszcze w początkach XX wieku (jak można wywnioskować z listu Alberta Einsteina wysłanego w 1936 roku do redakcji "Physical Review", z pogardą ogłaszającego, że rezygnuje z publikacji swojego artykułu w tym czasopiśmie, ponieważ ośmielili się wysłać go do innego fizyka z prośbą o komentarz)[34]. Dopiero w latach 70. XX wieku wszystkie czasopisma przyjęły nowoczesny model wysyłania artykułów do niezależnych ekspertów w celu ich oceny, przydzielając recenzentom role strażników, które pełnią dzisiaj[35].

Recenzenci są zwykle anonimowi, co jest w równej mierze błogosławieństwem, jak i przekleństwem: błogosławieństwem, ponieważ pozwala im wypowiadać się bez obaw o reperkusje ze strony naukowców, których pracę krytykują (młodszy naukowiec może być naprawdę szczery w kwestii wad pracy znanego profesora), a przekleństwem, gdyż... cóż, pozwala im to mówić, co myślą bez obaw o reperkusje ze strony naukowców, których pracę krytykują. Poniżej znajdują się autentyczne fragmenty recenzji artykułów:

- "Niektóre artykuły czyta się z prawdziwą przyjemnością. To nie jest jednak jeden z nich".

- "Wyniki są słabe jak rozgotowany makaron".

- "Rękopis zawiera trzy twierdzenia: pierwsze znamy od lat, drugie od dziesięcioleci, trzecie od wieków".

- "Obawiam się, że ten rękopis może przyczynić się nie tyle do rozwoju tej dziedziny, ile raczej do jej ostatecznego upadku".

- "Czy podczas pisania tego zdania miałeś jakiś atak? Bo mam wrażenie, że ja go miałem podczas czytania"[36].

Jeśli oceny recenzentów wyglądają jak powyżej, redaktor prawdopodobnie odrzuci waszą pracę. W tym momencie możecie albo zrezygnować, albo rozpocząć całą procedurę od nowa, przesyłając pracę do innego czasopisma, a jeśli to się nie powiedzie, do kolejnego, a jeśli to się nie powiedzie, do innego i tak dalej - nierzadko zdarza się, że artykuły przechodzą przez pół tuzina lub więcej czasopism, zwykle o coraz niższym prestiżu, zanim wreszcie zostaną zaakceptowane do publikacji. Jeśli recenzenci mimo wszystko będą pod pewnym wrażeniem, możecie mieć możliwość poprawienia artykułu, aby odpowiedzieć na ich krytykę - na przykład przeprowadzić nowe analizy lub eksperymenty lub przepisać niektóre fragmenty - i ponownie przesłać go do redaktora. Tego rodzaju proces recenzji, z kilkukrotnym przesyłaniem tekstu tam i z powrotem, może się odbywać przez dłuższy czas, często zabrać nawet całe miesiące. Na końcu, jeśli recenzenci są usatysfakcjonowani, redaktor wyraża zgodę i artykuł zostaje opublikowany. Jeżeli czasopismo nadal ukazuje się w wersji papierowej, zobaczycie swoją cenną pracę wydrukowaną - w przeciwnym razie będziecie musieli zadowolić się dreszczykiem emocji, widząc go na oficjalnej stronie internetowej czasopisma. Stało się. Odcisnęliście piętno na literaturze naukowej i macie publikację, którą możecie dodać do CV i którą mogą cytować inni badacze. Gratulacje - weźcie wolne na resztę dnia.

Powyższe podsumowanie jest zbyt krótkie i ogólne, ale zasadniczo każda dziedzina nauki podąża w jakimś zakresie szlakiem tych procedur. Możemy jednak zadać sobie pytanie, czy po poddaniu się procesowi recenzowania ostateczna wersja publikacji nadal wiernie odzwierciedla to, co zostało zrobione w ramach badania. Wrócimy do tego w kolejnych rozdziałach. Na razie musimy pomyśleć o czymś innym. Co gwarantuje, że uczestnicy opisanego właśnie procesu - badacz, który przesyła artykuł, redaktor czasopisma, naukowcy, którzy go recenzują - zachowują się rzetelnie i są wiarygodni, co jest konieczne, aby nauka była godna zaufania? Nie istnieje żadne prawo wymagające, aby wszyscy postępowali uczciwie i racjonalnie podczas oceny nauki, więc potrzebny jest wspólny etos, zestaw wartości, który określa zachowanie naukowców[37]. Najbardziej znaną próbą spisania tych reguł jest praca socjologa Roberta Mertona.

W 1942 roku Merton określił cztery wartości naukowe, znane obecnie jako "normy mertonowskie". Żadna z nich nie nosi zbyt wymyślnych nazw, za to wszystkie zakładają pozytywne dążenia naukowców. Pierwsza z nich to uniwersalizm: wiedza naukowa to wiedza naukowa, bez względu na to, kto ją wymyśla - jeżeli metody określania tej wiedzy mieszczą się w granicach rozsądku. Na ocenę prawdziwości twierdzeń nie powinny mieć wpływu rasa, płeć, wiek, orientacja seksualna, dochód, pochodzenie społeczne, narodowość, popularność lub jakikolwiek inny status naukowca. Nie można też oceniać czyichś badań na podstawie tego, czy ich twórca jest osobą lubianą, czy nielubianą - co powinno przynieść ulgę niektórym z moich bardziej nieprzyjemnych kolegów. Drugą normą, związaną z pierwszą, jest bezinteresowność: badacze nie zajmują się tym, co robią, dla pieniędzy, z powodów politycznych lub ideologicznych ani dla wzmocnienia własnego ego lub reputacji (lub reputacji ich uniwersytetu, kraju lub czegokolwiek innego). Czynią to, aby pogłębić nasze zrozumienie wszechświata dzięki odkrywaniu i tworzeniu nowych rzeczy - i kropka[38]. Jak zanotował kiedyś Karol Darwin, naukowiec "nie powinien mieć żadnych życzeń, żadnych uczuć - a jedynie serce z kamienia"[39].

Kolejne dwie normy przypominają o społecznym wymiarze nauki. Trzecia to komunalizm: naukowcy powinni dzielić się wiedzą między sobą[40]. Zasada ta leży u podstaw całej idei publikowania wyników w czasopismach, aby inni mogli je zobaczyć - jesteśmy w tym razem i musimy znać szczegóły prac innych badaczy, abyśmy mogli je oceniać i na nich budować[41]. Jest wreszcie coś takiego jak zorganizowany sceptycyzm: nic nie jest święte, a twierdzenia naukowe nigdy nie powinny być traktowane bezkrytycznie. Powinniśmy wstrzymać się z oceną jakiegokolwiek ustalenia, dopóki właściwie nie sprawdzimy wszystkich danych i metodologii. Najbardziej oczywistym ucieleśnieniem normy zorganizowanego sceptycyzmu jest sama procedura recenzowania.

W teorii wygląda to całkiem dobrze: stosując się do czterech norm mertonowskich, powinniśmy otrzymać literaturę naukową, której możemy zaufać - ramiona olbrzymów, jak w słynnym zdaniu Newtona, na których stoimy, by widzieć dalej. Niemniej jednak giganci ci oczywiście często się mylili. Wystarczy wziąć dwa przykłady przytoczone przez Johna Stuarta Milla: kiedyś wierzyliśmy, że Słońce krąży wokół Ziemi, a łatwopalne obiekty są pełne specjalnego pierwiastka zwanego flogistonem, który uwalnia się, kiedy się spalają[42]. Ale w końcu, gdy pojawiły się lepsze dane, wysłaliśmy te teorie do lamusa. W rzeczy samej, w przypadku naukowca zmiana zdania jest cnotą. Oto, jak biolog Richard Dawkins wspomina pewnego "szanowanego starszego pracownika naukowego z wydziału zoologii w Oksfordzie":

(...) przez długie lata ten starszy już pan głęboko wierzył i z pasją bronił poglądu, że aparat Golgiego (wewnątrzkomórkowa struktura dostrzegalna pod mikroskopem) nie istnieje, że to laboratoryjny artefakt, iluzja. W tych latach obowiązywał zwyczaj, że w każdy poniedziałek cała katedra spotykała się, by wysłuchać wykładu jakiegoś zaproszonego gościa. Pewnego poniedziałku w charakterze wykładowcy wystąpił amerykański biolog komórkowy, który przedstawił absolutnie przekonujące dowody realnego istnienia aparatu Golgiego. Gdy wykład się skończył, bohater mojej opowieści wyszedł na środek auli, podszedł do katedry, uścisnął dłoń Amerykaninowi i - z pasją w głosie - powiedział: "Drogi przyjacielu, dziękuję ci! Teraz już wiem, że przez piętnaście lat się myliłem". Wszyscy zaczęliśmy bić brawo. Żaden fundamentalista nie zdobyłby się na coś takiego. (Po prawdzie to spora część ludzi nauki również nie.) Ale naukowcy przynajmniej formalnie akceptują taki ideał, w odróżnieniu od na przykład polityków, którzy zapewne uznaliby ten przypadek za rażący przykład nagłej zmiany poglądów. Ilekroć przypominam sobie tę historię, wzruszenie ściska mi gardło[43].

To właśnie mają na myśli ludzie, kiedy mówią, że nauka "sama się koryguje". W końcu, nawet jeśli zajmie to wiele lat lub dziesięcioleci, starsze, błędne idee zostaną obalone przez dane (lub czasami, jak dość makabrycznie zauważył fizyk Max Planck, to samo czyni śmierć wszystkich ich upartych zwolenników, która przekazuje naukę następnemu pokoleniu)[44]. Taka jest teoria. W praktyce opisany wcześniej w tym rozdziale system publikacji niezbyt pasuje do norm mertonowskich, utrudniając pod wieloma względami proces autokorekty. W miarę czytania książki szczegóły tej sprzeczności - między rywalizacją o granty i zabiegami o prestiżowe publikacje z jednej strony a otwartą, beznamiętną, sceptyczną oceną nauki z drugiej - będą się stawały coraz wyraźniejsze.

Przypisy

[1] Cytat z brytyjskiego serialu satyrycznego Brass Eye

[2] F. Bacon, Novum Organum, red. J. Devey, P.F. Collier & Son, New York, 1620/1902.

[3] D.J. Bem, Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect, "Journal of Personality and Social Psychology" 2011, 100, nr 3, s. 407-425; https://doi.org/10.1037/a0021524.

[4] Mieli także zdolność odwrotną: kiedy za jedną z zasłon znajdował się obrazek ukazujący brutalną scenę, uczestnicy psychicznie odsuwali się od niego, wybierając go tylko w 48,3% przypadków - znowu statystycznie istotna różnica w stosunku do przewidywań czystego przypadku.

[5] P. Aldhous, Journal Rejects Studies Contradicting Precognition, "New Scientist", 5 maja 2011; https://www.newscientist.com/article/dn20447-journal-rejects-studies-contradicting-precognition.

[6] The Colbert Report, Time Travelling Porn - Daryl Bem, 2011; https://www.cc.com/video/bhf8jv/the-colbert-report-time-traveling-porn-daryl-bem

[7] Po kilku kolejnych chwilach frustracji ostatecznie opublikowaliśmy artykuł w innym czasopiśmie naukowym, S.J. Ritchie i in., Failing the Future: Three Unsuccessful Attempts to Replicate Bem's "Retroactive Facilitation of Recall" Effect', PLOS ONE 2012, 7, nr 3, e33423, https://doi.org/10.1371/journal.pone.0033423. Warto zauważyć, że czasopismo opublikowało jednak statystyczną krytykę badania Bema (E.-J. Wagenmakers i in., Why psychologists must change the way they analyze their data: the case of psi: comment on Bem, "Journal of Personality and Social Psychology" 2011, 100, nr 3, s. 426-432; https://doi.org/10.1037/a0022790), podobnie jak odpowiedź Bema i jego współpracowników (D.J. Bem i in., Must psychologists change the way they analyze their data?, "Journal of Personality and Social Psychology" 2011, 101, nr 4, s. 716-719; https://doi.org/10.1037/a0024777). Ale nadal nawet nie rozważyli opublikowania próby powtórzenia badania. W dalszej części książki zobaczymy, że redaktorzy tego czasopisma w końcu jednak zmienili zdanie w tej kluczowej kwestii.

[8] D.A. Stapel, S. Lindenberg, Coping with Chaos: How Disordered Contexts Promote Stereotyping and Discrimination, "Science" 2011, 332, nr 6026, s. 251-253, https://doi.org/10.1126/science.1201068.

[9] P. Ball, Chaos Promotes Stereotyping, "Nature", 7 kwietnia 2011; https://doi.org/10.1038/news.2011.217; N. Phillips, Where There's Rubbish There's Racism, "Sunday Morning Herald", 11 kwietnia 2011, https://www.smh.com.au/world/where-theres-rubbish-theres-racism-20110410-1d9df.html.

[10] D.A. Stapel, S. Lindenberg, Coping with Chaos..., s. 251.

[11] Levelt Committee i in., Flawed Science: The Fraudulent Research Practices of Social Psychologist Diederik Stapel, [tłumaczenie angielskie], 28 listopada 2012; https://osf.io/eup6d.

[12] D.A. Stapel, Derailment: Faking Science, tł. N.J.L. Brown, Strasbourg, 2014, 2016, s. 119, http://nick.brown.free.fr/stapel.

[13] D.A. Stapel, Derailment..., s. 124.

[14] Postęp naukowy zależy od tego, czy wykryjemy pomyłki we wcześniejszych pracach. Na przykład na początku XX wieku fizycy zdali sobie sprawę, że teoria mechaniki klasycznej Newtona, od dawna uważana za prawdziwą, nie jest zgodna z zachowaniem bardzo małych i bardzo szybkich cząstek, i zastąpili ją teorią mechaniki kwantowej. Więcej na temat tego zagadnienia z perspektywy pomiaru wielkości, takich jak prędkość światła i stała Plancka, zob. M.J.T. Milton, A. Possolo, Trustworthy Data Underpin Reproducible Research, "Nature Physics" 2020, 16, nr 2, s. 117-119, https://doi.org/10.1038/s41567-019-0780-5.

[15] Cyt. za D. Engber, Daryl Bem Proved ESP Is Real: Which Means Science Is Broken, "Slate", 17 maja 2017, https://slate.com/health-and-science/2017/06/daryl-bem-proved-esp-is-real-showed-science-is-broken.html.

[16] Klasycznym przykładem tego rodzaju książki jest C. Sagan, Świat nawiedzany przez demony. Nauka jako światło w mroku, tłum. F. Rybakowski, Zysk i S-ka, Warszawa 1995.

[17] W tej książce uwzględniono liczne źdźbła w oczach innych naukowców, więc - jeśli pozwolicie na chwilę autorefleksji - po prostu sprawdzę, czy nie ma potencjalnych belek w moim własnym. W latach, które minęły od mojej próby replikacji badania Bema, opublikowałem wiele artykułów na różne tematy, choć głównie o moim głównym zainteresowaniu: ludzkiej inteligencji. Pragnę zaznaczyć nade wszystko, że nie sfałszowałem celowo żadnych wyników, ale głupio byłoby sugerować, że jestem odporny na wszelkie obciążenia. Są one czymś częstym, a może nawet zwykłym, nieświadomym, a historię badania można łatwo przepisać, co może sprawiać wrażenie, że zamierzałeś to zrobić w ten sposób przez cały czas. Plusem jest to, że opublikowałem sporo wyników zerowych - artykułów, które nie znalazły poparcia dla swojej głównej hipotezy. Zob. na przykład S.J. Ritchie i in., Polygenic Predictors of Age-Related Decline in Cognitive Ability, "Molecular Psychiatry", 13 lutego 2019, https://doi.org/10.1038/s41380-019-0372-x, a także moją pierwszą publikację naukową S.J. Ritchie i in., Irlen Colored Overlays Do Not Alleviate Reading Difficulties, "Pediatrics" 2011, 128, nr 4, s. e932-938, https://doi.org/10.1542/peds.2011-0314. Można by z łatwością dowodzić jednak, że ta początkowa zerowa praca miała zbyt nieliczną próbę i można było przeoczyć rzeczywiste efekty (patrz omówienie istotności statystycznej w rozdziale 5). Niektóre z moich prac zostały słusznie skrytykowane przez innych naukowców, na przykład gdy naiwnie popadałem w nadmierne dopasowanie (zjawisko omówione w rozdziale 4). Zob. D.H. Bailey, A.K. Littlefield, Does Reading Cause Later Intelligence? Accounting for Stability in Models of Change, "Child Development" 2017, 88, nr 6, s. 1913-1921, https://doi.org/10.1111/cdev.12669. Opublikowałem nawet badanie "genu kandydującego", używając metody, którą opiszę w rozdziale 5. Zob. S.J. Ritchie i in., Alcohol Consumption and Lifetime Change in Cognitive Ability: A Gene × Environment Interaction Study, "AGE" 2014, 36, nr 3, 9638, https://doi.org/10.1007/s11357-014-9638-z. Niemal na pewno mam swój udział w szumie informacyjnym: odbyłem kilka rozmów z dziennikarzami na temat nauki, w których używałem zbyt nieformalnego języka lub, w stylu l'esprit d'escalier, później żałowałem, że nie dodałem ważnych ostrzeżeń i zastrzeżeń. Popełniłem błąd przekonując, że "istnieją setki opublikowanych, recenzowanych artykułów na ten temat", tak jakby to był jakiś wskaźnik prawdy. Wracając jeszcze do recenzowania, z pewnością zdarzały się sytuacje, w których omawiając artykuł, poświęciłem mu zbyt mało czasu, niż zasługiwał, i tym samym mogłem nieumyślnie dopuścić do prześlizgnięcia się pewnych błędów. Nie wątpię, że w przyszłości wyjdą na jaw inne błędy lub żale.

[18] Przegląd Filozoficzny - Nowa Seria, 2011, r. 20, nr 4 (80), s. 15, tłum. N. Karczewska.

[19] A. Sokal, J. Bricmont, Intellectual Impostures, Profile Books, London 1998, 2003.

[20] J.S. Mill, Utylitaryzm. O wolności, tłum. M. Ossowska, A. Kurlandzka, PWN, Warszawa 2012, s. 133.

[21] H.E. Longino, Science as Social Knowledge, Princeton University Press, Princeton 1990. Zob. także H. Longino, The Social Dimensions of Scientific Knowledge, w: The Stanford Encyclopedia of Philosophy, red. E.N. Zalta, lato 2019, https://plato.stanford.edu/archives/sum2019/entries/scientific-knowledge-social; J. Reiss, J. Sprenger, Scientific Objectivity, w: The Stanford Encyclopedia of Philosophy, red. Edward N. Zalta (zima 2017), https://plato.stanford.edu/archives/win2017/entries/scientific-objectivity.

[22] Przy formułowaniu tego argumentu kieruję się ideą teoretyków ewolucji, Hugo Merciera i Dana Sperbera, że podstawową funkcją samego ludzkiego rozumowania jest wypracowanie najlepszego sposobu przekonania innych ludzi. Zob. H. Mercier, D. Sperber, Why Do Humans Reason? Arguments for an Argumentative Theory, "Behavioral and Brain Sciences" 2011, 34, nr 2, s. 57-74, https://doi.org/10.1017/S0140525X10000968.

[23] J. McDougall-Waters, N. Moxham, A. Fyfe, Philosophical Transactions: 350 Years of Publishing at the Royal Society (1665-2015), Royal Society, London 2015, https://royalsociety.org/~/media/publishing350/publishing350-exhibition-catalogue.pdf. Niektórzy historycy twierdzą, że tak naprawdę za pierwsze czasopismo naukowe powinna być uważana francuska publikacja z 1665 roku, "Journal des sçavans", która ukazała się zaledwie dwa miesiące przed "Philosophical Transactions". Jednak "Journal" publikował artykuły na ogromną liczbę różnych tematów naukowych i początkowo składał się głównie z recenzji książek i fragmentów książek, z kolei "Philosophical Transactions" od samego początku nastawiony był na publikowanie wiadomości i obserwacji naukowych. Bardziej sprawiedliwe może być uznanie "Journal" za pierwsze czasopismo akademickie, a "Philosophical Transactions" za pierwsze czasopismo naukowe. Zob. R.Ph. McCutcheon, The "Journal Des Scavans" and the "Philosophical Transactions of the Royal Society", "Studies in Philology: 1924, 21, nr 4, s. 626-628, https://www.jstor.org/stable/4171899, oraz D. Banks, Thoughts on Publishing the Research Article over the Centuries, "Publications" 2018, 6, nr 1, s. 10, https://doi.org/10.3390/publications6010010.

[24] P.A. David, The Historical Origins of "Open Science": An Essay on Patronage, Reputation and Common Agency Contracting in the Scientific Revolution, "Capitalism and Society" 2008, 3, nr 2, s. 5, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2209188.

[25] R. Hooke, A Spot in One of the Belts of Jupiter, "Philosophical Transactions" 1665, t. 1, nr 1, https://doi.org/10.1098/rstl.1665.0005. W oryginale nazwisko brzmiało "Hook" zapisane kursywą i wielkimi literami. Zmieniłem długie s w oryginale na współczesne.

[26] W 1900 roku tytuł podzielono na dwa czasopisma, jeden dla matematyki i nauk fizycznych, a drugi dla nauk biologicznych. Zob. https://royalsocietypublishing.org/journal/rstl.

[27] M. Ware, M. Mabe, The STM Report: An Overview of Scientific and Scholarly Journal Publishing'. The Hague, Netherlands: International Association of Scientific, Technical and Medical Publishers, marzec 2015; https://www.stm-assoc.org/2015_02_20_STM_Report_2015.pdf.

[28] Warto tu zauważyć, że dopiero w połowie XVIII wieku "Philosophical Transactions", do tej pory prowadzone przez różnych indywidualnych badaczy i kompilatorów, zostało oficjalnie przejęte przez Towarzystwo Królewskie.

[29] Większość artykułów w czasopismach to raporty z nowych badań, zwane "artykułami empirycznymi", ale niektóre to "artykuły przeglądowe", syntetyzujące wszystko, co do tej pory wiadomo na temat danego zagadnienia naukowego.

[30] https://www.nih.gov/ oraz https://www.nsf.gov/. Wśród podobnych organizacji działających w innych krajach warto wspomnieć o UK Research and Innovation (https://www.ukri.org/), National Natural Science Foundation of China (http://www.nsfc.gov.cn/english/site_1/index.html), a także Japan Society for the Promotion of Science (https://www.jsps.go.jp/english/). Zob. także https://wellcome.ac.uk/ oraz https://www.gatesfoundation.org.

[31] Niektóre czasopisma naukowe formatują artykuły na przykład w taki sposób, że część Metody znajduje się na samym końcu, tak jakby ta ważna informacja była jedynie refleksją.

[32] https://www.sciencemag.org/site/feature/contribinfo/faq/index.xhtml#pct_faq

[33] A. Csiszar, Peer Review: Troubled from the Start, "Nature" 2016, 532, nr 7599, s. 306-308, https://doi.org/10.1038/532306a.

[34] Cyt. za M. Baldwin, Scientific Autonomy, Public Accountability and the Rise of "Peer Review" in the Cold War United States, "Isis" 2018, 109, nr 3, s. 538-558, https://doi.org/10.1086/700070.

[35] Tamże.

[36] https://shitmyreviewerssay.tumblr.com/

[37] Powinienem tutaj zauważyć, że są to normy dotyczące badań i analiz naukowych i niezależne od kwestii etycznych, które wszyscy naukowcy również muszą brać pod uwagę. Są one być może szczególnie ważne dla tych, którzy pracują z ludźmi (lub innymi zwierzętami), ale także dla badaczy pracujących z potencjalnie niebezpiecznymi technologiami lub których eksperymenty mogą powodować szkody dla środowiska lub inne zagrożenia.

[38] R.K. Merton, The Normative Structure of Science (1942), w: The Sociology of Science: Empirical and Theoretical Investigations, University of Chicago Press, Chicago-London 1973, s. 267-278.

[39] Darwin Correspondence Project, Letter no. 2122, 9 lipca 1857, https://www.darwinproject.ac.uk/letter/DCP-LETT-2122.xml.

[40] Tak naprawdę sam Merton określił uniwersalizm mianem "komunizmu", ale pojęcie to ma pewne, powiedzmy, odmienne konotacje. Dopiero w późniejszych pracach zmieniono je na "uniwersalizm", co sam również tutaj zastosowałem. Zob. na przykład S. Anderson i in., Extending the Mertonian Norms: Scientists' Subscription to Norms of Research, "Journal of Higher Education" 2010, 81, nr 3, s. 366-393, https://doi.org/10.1080/00221546.2010.11779057.

[41] Jako historyczny przykład osoby, która notorycznie nie stosowała się do tych norm, Merton przywołuje wysoce introwertycznego XVIII-wiecznego fizyka i chemika Henry'ego Cavendisha - z powodu wielkiej nieśmiałości ukrył przed światem wiele ważnych eksperymentów i teorii, co spowodowało, że zostały one odkryte dopiero na długo po jego śmierci.

[42] N. W. Best, Lavoisier's "Reflections on Phlogiston" I: Against Phlogiston Theory, "Foundations of Chemistry" 2015, 17, nr 2, s. 137-151, https://doi.org/10.1007/s10698-015-9220-5.

[43] R. Dawkins, Bóg urojony, tłum. P.J. Szwajcer, CIS, Warszawa 2007, s. 150.

[44] M. Planck, Scientific Autobiography and Other Papers, tłum. F. Gaynor, Williams & Norgate, Ltd., London 1949, s. 33-34.