logo
FA 11/2021 z laboratoriów

Rozmowa z Brianem Nosekiem, dyrektorem Center for Open Science, inicjatorem i koordynatorem wielu projektów replikacyjnych, uznanym w 2015 r. przez „Nature” za jednego z 10 najbardziej wpływowych naukowców świata

Tama została przerwana

Tama została przerwana 1

Dzięki internetowi i mediom społecznościowym o wiele łatwiej wyjrzeć poza bańkę własnej dziedziny nauki i stwierdzić: „O rany, w biomedycynie też mają z tym problem. O, w ekonomii także. Zaraz, zaraz. A czy jest jakaś dziedzina, której on nie dotyka?”.

Jesteś jednym z najbardziej znanych na świecie propagatorów ruchu na rzecz otwartej nauki, który angażuje się w zwiększanie jej transparentności. Co skłoniło cię do tak znaczącego zaangażowania w poprawę metod badawczych i współpracy pomiędzy naukowcami?

Zainteresowanie tymi kwestiami rozpoczęło się podczas studiów, kiedy uczęszczałem na kurs metod badawczych prowadzony przez Alana Kazdina. Było to w okolicach roku 1997, a wykładowca kazał nam czytać artykuły publikowane w latach 60. i 70. przez Boba Rosenthala, Tony’ego Greenwalda, Jacoba Cohena i Paula Meehla, którzy opisywali wyzwania, takie jak brak obiektywizmu publikacji, brak replikacji, oraz wskazywali rozwiązania tych problemów. Na przykład: próbujmy powtarzać większą liczbę badań, zwiększmy znaczenie badań. W tych artykułach wspominano nawet o wstępnej rejestracji badań. Dla studenta końcówki lat 90. szokująca była świadomość, że w metodologii na te problemy i rozwiązania zwraca się uwagę już od trzydziestu lat, lecz nic się nie zmienia. Dlaczego? Podobnie jak inne pokolenia studentów odbywaliśmy długie dyskusje po wykładach lub spotykaliśmy się w barze i rozmawialiśmy o tym, w jaki sposób zmienilibyśmy system, gdyby tylko nadarzyła się taka sposobność. Oczywiście wówczas nie mieliśmy szansy na przeprowadzanie żadnych istotnych zmian, ale zainteresowanie tymi sprawami zakorzeniło się w moim sposobie myślenia o badaniach, które prowadziliśmy w laboratorium. Zaczęliśmy więc od próby zmierzenia się z mocą statystyczną naszych projektów badawczych. Stworzyliśmy stronę internetową do zbierania danych o ukrytych zniekształceniach poznawczych. Kiedy zostałem etatowym pracownikiem wydziału, wdrożyliśmy jako standard praktykę dzielenia się jak największą ilością materiałów i danych na naszych stronach internetowych. A gdy pojawiły się odpowiednie serwisy, staraliśmy się wdrażać rozwiązania, które ulepszałyby ten proces. W połowie lat dwutysięcznych zacząłem składać wnioski do National Institutes of Health i National Science Foundation z zamiarem stworzenia tego, co wówczas nazywaliśmy „systemem otwartego dostępu do nauki”. Dysponowaliśmy laboratorium technicznym, prowadziliśmy stronę internetową służącą do gromadzenia danych i sądziliśmy, że przydałby się serwis, który ułatwi wymianę danych i pozwoli na korzystanie z nich szerszej grupie odbiorców. Nie mogliśmy jednak otrzymać finansowania, ponieważ opinie na temat naszych pomysłów były zbyt zróżnicowane. To nie był właściwy czas. Później, w 2011 roku, kwestie metodologii stały się przedmiotem szerokiego zainteresowania społeczności badaczy, a to za sprawą oszustwa popełnionego przez Diederika Stapela oraz z powodu bardzo zaskakujących rezultatów badań publikowanych w wiodących czasopismach, jak na przykład praca Daryla Bema o postrzeganiu pozazmysłowym. Opublikowany w 2011 r. w „Psychological Science” artykuł False-Positive Psychology autorstwa Simmonsa i jego współpracowników uświadomił wielu ludziom, że stosujemy praktyki, których znaczenia dla rzetelności wyników badań naprawdę nie rozumiemy. Wszystko to działo się mniej więcej w tym samym czasie. Zaczęliśmy analizować możliwości realizacji projektu opartego na współpracy, aby się przekonać, czy damy radę powtórzyć jakieś sensowne badania z naszej dziedziny. Mieliśmy projekt dotyczący replikacji, który przekształcił się w Projekt Replikowalność: Psychologia. Zaczęliśmy dzielić się tym pomysłem z innymi. Wiele osób zainteresowało się nim bardzo szybko i projekt rozrósł się do sporych rozmiarów. Oto kulisy powstania Centrum na rzecz Otwartej Nauki. Jeff Spies był studentem w naszym laboratorium, wcześniej pracował jako programista, a my szukaliśmy pomysłów na temat jego pracy doktorskiej. Wciąż też powracaliśmy do starego pomysłu dotyczącego systemu otwartego dostępu do nauki. W sumie było to dość niezwykłe, kiedy Jeff uznał, że jest to w dużej mierze zgodne z jego długoletnimi zainteresowaniami, więc zaczął nad tym pracować jako nad projektem rozprawy doktorskiej. Mieliśmy więc projekt dotyczący replikacji i projekt techniczny, który cieszył się sporym zainteresowaniem, a obydwa zostały opracowane w naszym laboratorium. Byliśmy samowystarczalni finansowo, nie korzystaliśmy z grantów ani z innych źródeł, a nasze projekty zwróciły na siebie uwagę opinii publicznej i niektórzy sponsorzy zaczęli się z nami kontaktować. Bardzo szybko przeszliśmy od interesujących, ale małych projektów do rozważań nad podjęciem działań na większą skalę. W ciągu dwóch miesięcy pokonaliśmy drogę od niewielkiego laboratorium do uruchomienia Centrum na rzecz Otwartej Nauki.

Otwarta nauka może być postrzegana raczej jako kontynuacja, aniżeli rewolucja w praktykach zapoczątkowanych w XVII wieku wraz z pojawieniem się czasopism naukowych, wtedy to bowiem społeczne zapotrzebowanie na dostęp do wiedzy naukowej osiągnęło punkt, w którym grupy naukowców stanęły przed koniecznością dzielenia się informacjami źródłowymi. Znany socjolog nauki Robert Merton wymieniał komunitaryzm jako jedną z podstawowych wartości naukowego etosu. Skąd wśród naukowców, którzy są spadkobiercami tych tradycji i wartości, tak ambiwalentne postawy wobec ruchu na rzecz otwartej nauki?

U podstaw tego, do czego dążymy jako instytucja zmieniająca kulturę, leży zmiana motywacji, standardów i zasad w taki sposób, aby nauka była bliższa normom sformułowanym przez Mertona. Możemy je łatwo zidentyfikować jako podstawowe wartości, którymi powinna kierować się nauka. Pytanie o to, dlaczego się od nich oddaliliśmy, jest złożone – nawet sam Merton nie sądził, aby poszczególni naukowcy musieli zawsze działać zgodnie z nimi. Skupiał się raczej na tym, jak system musi dostosowywać się do tych norm, nawet jeżeli poszczególne osoby bardziej koncentrują się na własnych interesach i trzymają w tajemnicy sposób wykonywania swojej pracy. Natomiast system sam w sobie powinien funkcjonować, uwzględniając autosceptycyzm.

Mówiąc to, uważam, że możemy działać lepiej, możemy przestrzegać tych norm nawet w naszych indywidualnych zachowaniach. I sądzę, że jedną z kwestii, która przeszkadza nam w działaniu zgodnie z normami, są sprawy techniczne. Nigdy wcześniej nie można było tak łatwo dzielić się metodologią i danymi, jak jest to możliwe obecnie. Tony Greenwald, w połowie lat 70., był redaktorem czasopisma „Journal of Personality and Social Psychology” i przez cały czas pełnienia tej funkcji wymagał od autorów publikacji, aby przysyłali mu dane surowe. W latach 70. nie było to łatwe do spełnienia. Teraz to banalna sprawa. Więc ta zmiana przybliża nas do realizacji norm mertońskich.

Drugim czynnikiem jest fakt, że nauka jest systemem opartym na rywalizacji. Trudno nie dostrzec rozbieżności między tym, co jest dobre dla mnie jako praktykującego badacza, a tym, co dobre jest dla nauki. Zasady, normy i zachęty składające się obecnie na system motywacyjny w nauce, a także sposób jego funkcjonowania, nie zostały stworzone wystarczająco dobrze, aby wspierać normy mertonowskie.

Zawód naukowca charakteryzuje niemal nieograniczona wolność. Sam wybiera przedmiot i metody badań, sam podejmuje większość decyzji. Przy dzisiejszej głębokiej specjalizacji niewielu innych naukowców jest w stanie skontrolować poprawność wykonywanej przez niego pracy. Czy opór przed transparentnością nie jest próbą obrony wolności, a w szczególności wolności od kontroli?

Z pewnością istnieją elementy koncepcji wolności odnoszące się do sposobów działania związanych z postępem nauki. Ja sam wspieram ideę, że nauka jest systemem otwartym, a ludzie mogą podejmować samodzielnie decyzje dotyczące tego, jakie problemy są warte badania, jak powinni je badać, a co powinni krytykować. Nie podzielam natomiast przekonania, że wolność polega na braku transparentności, na przekonaniu, że nie muszę tłumaczyć się ze sposobu uzyskania rezultatów. Oczywiście każdy ma taką swobodę w pewnym ogólnym zakresie, ale powiedziałbym, że działając tak, nie uczestniczy w systemie nauki. Transparentność jest kwestią tak bardzo podstawową dla gromadzenia wiarygodnej wiedzy przez naukę, że jeżeli powiem: „To są moje rezultaty i musisz po prostu mi zaufać”, wykluczę sam siebie ze społeczności naukowej oraz ze sposobu, w jaki nauka musi funkcjonować.

Czy dostrzegasz jakieś reguły w tym, kto staje się zwolennikiem ruchu na rzecz otwartej nauki, a kto jego przeciwnikiem?

Tama została przerwana 2

Chyba najsilniejszym wskaźnikiem jest czas pracy w zawodzie. Badaczom rozpoczynającym karierę naukową bardzo łatwo zaakceptować koncepcję otwartej nauki, ponieważ jest ona podstawą tego, jak nauka musi funkcjonować. Oczywiście kiedy już staniemy się częścią systemu nauki, zdajemy sobie sprawę, że nie działa on w ten sposób. Doświadczeni badacze często mówią: „Oto wszystkie przyczyny, dla których nie mogę dzielić się swoimi danymi. Oto wszystkie powody, dla których wstępna rejestracja projektów tego rodzaju nie ma sensu. Oto wszystkie obowiązki administracyjne, które w rzeczywistości spowolnią tempo postępu nauki”. Starsi naukowcy wyrażają praktyczny sceptycyzm, który mówi: „Oczywiście, mogę wierzyć w twój idealizm, ale bądźmy realistami”. Uważam, że ten rodzaj sceptycyzmu narasta wraz z wiekiem i jest efektem stawiania czoła wyzwaniom tworzonym przez obecny system.

Jest także drugi rodzaj sceptycyzmu, moim zdaniem również powiązany z wiekiem i doświadczeniem. Da się go przedstawić takimi słowami: „Robię to właśnie w ten sposób od dłuższego czasu, a wydaje mi się, że ty chcesz mi powiedzieć, że robię to źle. Nie podoba mi się to. Nie robiłem niczego źle. Robiłem to zupełnie dobrze”. Przyjęcie do wiadomości faktu, że muszę teraz zmienić swoje praktyki, byłoby przyznaniem się do czegoś, do czego przyznać się nie chcę. Badacz, który dotychczas nie opublikował żadnej pracy naukowej, nie będzie odczuwał takiego oporu, natomiast badacz, który ma na swoim koncie 500 artykułów, oczywiście będzie go czuł.

Od paru lat wszyscy mówią o kryzysie w psychologii i niektórych innych naukach, choć są i tacy, którzy aktywnie zaprzeczają jego istnieniu. Ale przecież Jacob Cohen pisał i mówił o problemach wynikających z testowania znaczenia hipotezy zerowej od początku lat 60. W tym samym czasie Leroy Wolins zainicjował dyskusję na temat dostępu do danych surowych. Od czasu wielkiej afery sir Cyrila Burta systematycznie, co parę lat, ujawniano oszustwa psychologów fabrykujących dane. O problemie efektu szuflady mówi się co najmniej od lat 70. Artykuł zatytułowany The desperate need for replication John Hunter opublikował już w roku 2000. Inne problemy są dyskutowane od dziesięcioleci. Dlaczego dopiero w połowie drugiej dekady XXI wieku zaczęto otwarcie mówić o kryzysie w psychologii i to w taki sposób, z którego postronni obserwatorzy mogliby wnioskować, że jego ujawnienie było wielkim zaskoczeniem dla uczonych?

Chciałbym zobaczyć dobrą analizę historyczną, pozwalającą ustalić, która z możliwych przyczyn jest tą właściwą. O wielu tych problemach wiedzieliśmy od dawna. Zarzewie ruchu reformatorskiego tliło się od dłuższego czasu, a problemy narastały od wielu lat, więc w końcu musiał nadejść ten dzień. Powiedzmy, że punktem wyjścia jest rok 2011. Fakt, że zmiany zaczęły się właśnie w tym roku, mógł być przypadkiem. Inną możliwością jest to, że nazbierało się sporo przykładów, a następnie pojawiło się kilka pojedynczych, stymulujących zdarzeń, które znacznie ułatwiły skonfrontowanie się z problemem na skalę, w jakiej robimy to obecnie. Sprawa Stapela, praca Bema i artykuł Simmonsa i in. Te poszczególne przypadki spotkały się z dużym zainteresowaniem nie tylko wśród ludzi, którzy interesują się metodologią. Te zdarzenia zmusiły nas do postawienia poważnych pytań: „Co z tym zrobimy?” lub „Co to naprawdę jest?”. Fakt, że wydarzyły się w tak niewielkim odstępie czasu, mógł również być znaczący. Zamiast pojedynczego wydarzenia mieliśmy ich nawarstwienie, co spowodowało, że tama została przerwana. Kolejnym czynnikiem był fakt, że kwestia ta okazała się istotna nie tylko w psychologii. Problem był zauważalny także w innych dziedzinach. Być może dzięki internetowi i mediom społecznościowym, zamiast sądzić, że problem dotyczy tylko mojego, niewielkiego obszaru, o wiele łatwiej jest wyjrzeć poza bańkę własnej dziedziny nauki i stwierdzić: „O rany, w biomedycynie też mają z tym problem. O, w ekonomii także. Zaraz, zaraz. A czy jest jakaś dziedzina, której on nie dotyka?”.

Obserwując zachowania uczonych, dostrzegłem, że niektórzy z nich, mimo problemów, o których rozmawiamy, są pełni optymizmu i ogłaszają światu, że oto nastała era wielkich replikacji, która rozwiąże wszystkie problemy, a my wkroczymy na prostą, szeroką drogę ku prawdzie. Tymczasem, pomimo pewnych podstaw do optymizmu, rzeczywistość wygląda nieco bardziej zgrzebnie. W bazie PsycARTICLES sprawdziłem wyłącznie artykuły recenzowane w latach 2017-2019. Te poświęcone replikacjom stanowiły około 0,7% wszystkich publikacji. Czy zaliczasz siebie do optymistów, którzy liczą na to, że stoimy na progu lepszego jutra naszej dziedziny?

Tak, jestem optymistą, ponieważ mamy do czynienia z trwałą zmianą kulturową. Nie oznacza to jednak, że dzieje się to szybko. Z ruchem związanych jest wiele osób, które ulegają zniechęceniu. Myślą: „Przecież już rozwiązaliśmy tę kwestię, dlaczego ludzie nadal postępują źle?”. Zmienianie kultury i ludzkich zachowań nie jest łatwym zadaniem. Powodem do optymizmu jest to, że najważniejsze wyzwania stają się bardzo dobrze znane jako problemy i trudno, nie będąc ich świadomym, zajmować się nauką. Drugi powód do optymizmu wynika z tego, że zmieniają się metody kształcenia i szkolenia. Metodolodzy bardzo dbają o ich jakość, a wielu z nich zmienia i aktualizuje kursy akademickie z zakresu statystyki i metod naukowych. Jest także trzeci powód do optymizmu, polegający na tym, że sponsorzy badań, wydawcy, stowarzyszenia oraz instytucje zwróciły uwagę na ten problem. Może nie dzieje się to szybko, ale wiele z nich zmienia swoje zasady, stosowane standardy i czynniki motywacyjne. To jest najlepszym sposobem na zapewnienie długofalowych, trwałych efektów. Przejście od braku wymogu przejrzystości do zachęcania czy wręcz wymagania otwartości zasadniczo zmienia wszystko, co jest nadsyłane do czasopisma naukowego i publikowane w nim. Zachęty dotyczące wstępnej rejestracji badań oraz zamieszczanie symboli, które potwierdzają przestrzeganie określonych zasad, mogą mieć długoterminowe, kumulatywne konsekwencje dla tworzenia nowych standardów. Wreszcie, ponad dwieście czasopism naukowych oferuje obecnie rejestrację raportów. To eliminuje stronniczość publikacji poprzez przeprowadzanie oceny i zobowiązanie się do publikacji rezultatów badania, zanim wyniki będą dostępne. To zasadnicza zmiana dotycząca obiegu publikacji naukowych, która będzie miała długotrwały wpływ, jeżeli zostanie przyjęta na szeroką skalę.

Powagę kryzysu w psychologii często się pomniejsza, określając go jako „kryzys replikacyjny”. Wiemy jednak, że składa się nań dużo więcej problemów niż tylko brak replikacji. Które z nich mogą zostać rozwiązane przez ruch na rzecz otwartej nauki, a które powinny zostać przezwyciężone w inny sposób?

Replikacja to łatwe rozwiązanie umożliwiające poprawę praktyk w obszarze badań naukowych – oto czyjś wniosek, a to zastosowana przez niego metoda, spróbujmy się zatem przekonać, na ile jest wiarygodna. Z tego punktu widzenia część ruchu zajmująca się replikacją pomaga zwrócić większą uwagę na kwestie dotyczące jak najszybszego postępu w badaniach. Replikacja nie rozwiązuje jednak takich problemów jak poprawność konstruktów, zwracanie uwagi na to, aby nasze teorie były dopracowane i sformalizowane tak, by nadawały się do testowania, czy też na łączenie teorii z praktycznymi wdrożeniami oraz testami inferencyjnymi. Istnieją poważne wyzwania dotyczące metod rozumowania, sposobów gromadzenia dowodów i łączenia tych dowodów w naukowe teorie. Otwarta nauka nie rozwiązuje tych problemów, jednak jest narzędziem umożliwiającym wypracowanie odpowiednich rozwiązań.

Krytycy projektów replikacyjnych podkreślają czasami, że silny nacisk na replikowanie badań może doprowadzić do tego, że uczeni będą się koncentrować na prowadzeniu badań replikowalnych zamiast badań trudnych, poważnych problemów, które mogą w istotny sposób wpływać na naszą rzeczywistość. Trudno nie przyznać im pewnej racji. Jak ty rozwiązujesz ten dylemat?

Według mnie jest to niewłaściwie zdefiniowana krytyka. Pomysł, że nie będziemy replikować i będziemy czynić postępy, jest przyczyną problemu, z którym mamy do czynienia. Nie potrafiliśmy zrozumieć wartości replikacji dla formułowania teorii i odkryć. Generujemy mnóstwo koncepcji, mamy poczucie, że posuwamy się do przodu, a potem mamy bardzo niskie zaufanie do podstaw leżących u podłoża formułowanych przez nas twierdzeń lub uważamy je za mało wiarygodne. Sam fakt, że istnieją setki badań dotyczących wyczerpywania się ego, a my nadal debatujemy, czy zjawisko to faktycznie ma miejsce, pokazuje, jak problematyczne jest niepodejmowanie działań zwiększających wiarygodność podstawowych dowodów. Inną rzeczą, która moim zdaniem została źle sformułowana, jest rola replikacji dla postępu teoretycznego. Czasami lepsza jest replikacja niż czysta eksploracja. Aby przeprowadzić replikację, musisz skonstruować sytuację, w której jasno przewidujesz, co powinno się wydarzyć na podstawie wcześniejszych wniosków i ich teoretycznego kontekstu. Replikacja to konfrontacja z istniejącym wyjaśnieniem jakiegoś zjawiska. Konsekwencją wyników replikacji może być wyjaśnienie istniejącego rozumienia i zwiększenie możliwości jego uogólnienia lub skonfrontowanie go z dowodami, które mu przeczą. To drugie prowadzi nieuchronnie do generowania kolejnych teorii, ponieważ nasze oczekiwania wynikające z poprzednich wniosków zostały podważone. Uważam, że niewłaściwe jest mówienie, iż sama replikacja jest czymś różnym od postępu teoretycznego.

Co uważasz za największe wyzwanie w dziedzinie nauk psychologicznych – w ogóle?

Największym wyzwaniem, jakie przed nami stoi, jest – według mnie – znalezienie sposobu naprawy systemu nagród. Nie chodzi w tym wypadku o tematy badawcze, ale myślę, że system nagród ma na nie bezpośredni wpływ. Elementem najtrudniejszym do zmiany jest system zatrudniania i awansowania pracowników akademickich. Jeżeli nie rozwiążemy problemu podstawowego kryterium oceny, jakim jest konieczność coraz większej liczby publikacji w coraz bardziej prestiżowych czasopismach, żadna ze zmian wprowadzanych przez system otwartej nauki nie będzie w pełni skuteczna.

Która koncepcja psychologiczna zasłużyła na to, by odesłać ją na naukową emeryturę?

Moim zdaniem jest to przekonanie, że psychologia tak bardzo różni się od innych dziedzin nauki, że nie możemy wykorzystywać praktyk stosowanych w innych dziedzinach, by wskazywać, jak lepiej uprawiać naszą. Myślimy: „Powodem, dla którego ludzie postrzegają nas inaczej, nie szanują nas, jest to, że jesteśmy od nich całkowicie odmienni”. Sądzę, że takie myślenie wynika częściowo z zarozumiałości, a częściowo z niskiego zbiorowego poczucia własnej wartości. Nie jesteśmy jednak całkowicie odmienni. Badamy trudne problemy, być może najtrudniejsze spośród wszystkich dziedzin nauki. Ale nie możemy przyjmować tak bardzo defensywnej postawy, żeby nie przyglądać się innym obszarom nauki w celu identyfikacji pomysłów i nowych praktyk, które mogłyby pomóc nam pracować lepiej. Moim zdaniem to właśnie ta defensywna postawa powinna odejść w niebyt.

Rozmawiał Tomasz Witkowski

Prezentowana rozmowa jest fragmentem dłuższego wywiadu, którego pełen zapis znajduje się w książce Giganci psychologii. Rozmowy na miarę XXI wieku, tłum. Magdalena Wajda-Kacmajor, Wydawnictwo Bez Maski, Wrocław 2021. Premiera książki 30 listopada.

Wróć