logo
FA 10/2024 życie naukowe

Stanisław Krawczyk, Paweł Lenartowicz

Nie popełniajmy starych błędów

Nie popełniajmy starych błędów 1

Rys. Sławomir Makal

Nie powinniśmy się godzić na obniżanie jakości badań, na szeroki transfer publicznych pieniędzy do prywatnych kieszeni ani na to, że badacze wykonują ogrom darmowej pracy na rzecz największych wydawnictw. Wiedza, która powstaje dzięki publicznym środkom, musi być publicznie dostępna.

W 2023 roku Nagrodę Nobla w dziedzinie fizjologii lub medycyny otrzymali Katalin Karikó i Drew Weissman. Wyróżnieni zostali za odkrycia, które przyczyniły się do stworzenia szczepionek mRNA na COVID-19. Rok przed otrzymaniem nagrody, w wywiadzie dla szwajcarskiego dziennika „Aargauer Zeitung”, Karikó powiedziała: „Przez większość życia zawodowego nie dostawałam środków na projekty badawcze dotyczące mRNA. Teraz ten temat jest uważany za istotniejszy, w «Harvard Business Review» zrobili nawet badanie, które miało ustalić, dlaczego w przeszłości nigdy nie dostawałam pieniędzy. Doszli do wniosku, że to dlatego, że pochodziłam z uczelni, której nikt nie zna [Uniwersytetu Segedyńskiego na Węgrzech], nie miałam znanego mentora, a poza tym sponsorzy myśleli po prostu: «Ona robi coś dziwnego, czemu mielibyśmy dawać jej pieniądze?». W dodatku [wiele lat później] uznano, że nie sprawdzę się w kadrze naukowej [Uniwersytetu w Pensylwanii], bo nie byłam pierwszą autorką żadnej publikacji w «Nature» ani nie skończyłam uniwersytetu z Ligi Bluszczowej”.

Dzięki badaniom węgierskiej biochemiczki mogliśmy dużo skuteczniej bronić się przed jedną z najgroźniejszych pandemii w historii świata. Mało jest odkryć naukowych, które przyniosłyby ludzkości równie dużo. A jednak na przełomie lat 80. i 90. ani instytucje grantowe, ani prywatni sponsorzy nie docenili potencjału tych badań, w 1995 roku zaś przełożeni z Uniwersytetu w Pensylwanii przenieśli wręcz Karikó na niższe stanowisko. Gdyby wtedy zrezygnowała z badań nad mRNA, ile tysięcy lub milionów ludzi więcej zginęłoby w pandemii COVID-19? Katalin Karikó w końcu została doceniona, ale ilu innych wybitnych badaczy nigdy się tego nie doczeka? Ile straciliśmy wiedzy, która pomogłaby nam zrozumieć świat i ukształtować nasz los?

Badania Karikó były przełomowe, ale przez długi czas nie cieszyły się uznaniem. Czy była to wyłącznie wina grupki niedoszłych sponsorów i pojedynczych naukowych decydentów? Niestety nie: problem jest głębszy, systemowy. W światowej nauce zbyt rzadko merytorycznie ocenia się jakość badań, a zbyt często używane są wskaźniki zastępcze. Wiele decyzji zapada na podstawie tego, jaką uczelnię ktoś ukończył lub gdzie pracuje, a przede wszystkim na podstawie wskaźników bibliometrycznych. Pokusa zastąpienia subiektywnej oceny jakościowej obiektywną (przynajmniej pozornie) oceną liczbową jest bardzo silna. Także dlatego, że wskaźniki bibliometryczne są najczęściej stosunkowo proste do zrozumienia, jak liczba cytowań, impact factor czy indeks Hirsha.

Aby utrzymać swój status w takim systemie, badacze muszą publikować dużo, zwłaszcza w czasopismach o jak najwyższym impact factorze, a do tego liczyć, że ich prace będą często cytowane. Wymagać tego będzie uczelnia, która ma na uwadze swoją pozycję w rankingach w głównej mierze opartych na tych samych bibliometrycznych wskaźnikach. Dzięki dobrej pozycji będzie mogła spełnić oczekiwania biznesu, sponsorów i władz państwowych oraz przyciągnąć jak najlepszych studentów i naukowców.

Krytykując globalny system ewaluacji badań oraz spleciony z nim system wydawniczy, nie zamierzamy sugerować, że to jedyne źródło problemów nauki w Polsce. Istnieją też inne. Wspomnijmy tylko, że kolejne rządy utrzymują uczelnie, Polską Akademię Nauk oraz instytuty badawcze w stanie skrajnego niedofinansowania, co jest jedną z przyczyn tego, że zbyt wielu naukowców koncentruje się na dydaktycznych nadgodzinach lub pracy pozanaukowej i nie prowadzi niemal żadnych badań. Tutaj jednak skupiamy się na ciemnych stronach globalnej (a nie krajowej) komunikacji naukowej, aby zwrócić uwagę na problemy – tudzież rozwiązania i postulaty – które w polskich dyskusjach pozostają niemal nieobecne.

Obiektywna ocena dorobku to złudzenie

Główne zasady oceny osiągnięć badaczy – w dużym skrócie – kształtują się dziś następująco. Korporacje, które analizują wybrane wycinki światowego obiegu wydawniczego, obliczają, jak często poszczególne publikacje cytowane są w innych pracach naukowych i umieszczają wyniki w bazach danych (dla Elseviera jest to baza Scopus, dla Clarivate – Web of Science). Na tej podstawie prywatne i publiczne instytucje naukowe oceniają dorobek swojej kadry, a także osób ubiegających się o pracę, stopień, tytuł, grant, stypendium.

Pod uwagę brane są też inne wskaźniki, niemniej to właśnie waga kryteriów ilościowych przez ostatnie kilkadziesiąt lat wzrosła najbardziej. Na podstawie tych kryteriów powstają zarówno nieformalne, środowiskowe hierarchie uznania, jak i oficjalne, państwowe systemy ewaluacji nauki. Rzecz jasna systemy te nie opierają się wyłącznie na korporacyjnych bazach danych, jak Scopus i Web of Science. Niemniej nawet w Polsce, gdzie obowiązuje centralna lista czasopism wraz z przypisanymi im punktami, pierwszym etapem tworzenia listy w czasie ostatniej dużej reformy (kiedy ministrem nauki był Jarosław Gowin) było automatyczne przydzielenie punktów na podstawie takich wskaźników jak impact factor czy CiteScore. Dopiero później następowała weryfikacja ekspercka, a w kadencji Przemysława Czarnka doszła do tego również niesławna korekta punktacji przez ministerstwo.

Tego rodzaju wskaźniki umożliwiają łatwe porównywanie zarówno naukowców, jak też instytucji, które ich zatrudniają. Ufundowane są jednak na założeniu, że jakość badań można ująć w liczby. Tymczasem wcale nie jest oczywiste, że często cytowane artykuły to po prostu dobre artykuły albo że tekst jest tym lepszy, im częściej cytuje się czasopismo, w którym został opublikowany. Wskazuje na to między innymi ponad 25 tysięcy osób i organizacji, które podpisały opublikowaną w 2013 roku deklarację DORA (The San Francisco Declaration on Research Assessment) podkreślającą, że jakość badań trzeba oceniać na podstawie lektury publikacji, a nie przy użyciu wskaźników zastępczych. Wielu sygnatariuszy odniosło przy tym duży sukces naukowy (wymieńmy tu tylko Amerykańskie Towarzystwo na rzecz Rozwoju Nauki, wydawcę słynnego pisma „Science”, oraz Nature Research, wydające „Nature”), toteż trudno im zarzucić, że przy podpisie kierowali się resentymentem.

Co więcej, wskaźniki, które same stają się celami, tracą swoją pierwotną funkcję i mogą nawet przynosić odwrotne skutki. Regułę tę dobrze ilustruje ponura historia z wietnamskiego Hanoi – przytacza ją także Marcin Miłkowski we wpisie blogowym Koniec ze zbieraniem szczurzych ogonów, zwracając uwagę na nadmiarowy koszt ewaluacji nauki w Polsce (patrz także FA 11/2023). Na początku XX wieku dotarła do Hanoi pandemia dżumy przenoszonej przez szczury. Francuskie władze kolonialne zaoferowały nagrodę za każdego zabitego szczura, a że nie chciały gromadzić ciał, to w roli dowodu przyjmowały ogony. W efekcie lokalni Wietnamczycy zaczęli polować na szczury, lecz wypuszczali je po odcięciu ogona, tak aby mogły dalej się rozmnażać, ich potomstwo miało być kolejnym źródłem zysków. Pojawiły się wręcz doniesienia, że część miejscowych przemyca nowe szczury do miasta, a na przedmieściach Hanoi odkryto specjalne szczurze farmy. W końcu francuskie władze, mądre po szkodzie, odwołały program zbierania szczurzych ogonów. Współczesne zasady ewaluacji nauki także powinny zostać zmienione, jeżeli mają rzeczywiście służyć jakości badań.

Presja na publikowanie szkodzi rzetelności badań

Wspierana przez obecny system kultura „publikuj lub giń” przyczynia się do wielu patologii, które dziś trapią naukę. Bezrefleksyjna bibliometryczna ocena dorobku stwarza warunki do rozwoju drapieżnych czasopism, które za opłatą publikują niemal każdy artykuł. Powoduje również rozwój „spółdzielni cytowań” (grup autorów wzajemnie cytujących swoje prace, co sztucznie podwyższa wskaźniki) i tworzy zachęty do zachowań quasi korupcyjnych: zdarza się, że redakcje czasopism i recenzenci wymuszają cytowanie ich własnych artykułów lub artykułów pochodzących z tego samego czasopisma. Jak pokazuje Igor Chirikov (Does conflict of interest distort global university rankings?), problem nie omija też uniwersyteckich rankingów – uniwersytety rosyjskie, które często podpisywały umowy z wydawcą QS World University Rankings, bezzasadnie awansowały o średnio 140 pozycji.

Co gorsza, czasopisma są motywowane do publikacji prac, które poprawią ich własne statystyki. Kluczowy dla czasopism impact factor – obliczany przez giganta z branży bibliometrycznej, amerykańską spółkę Clarivate – jest prostą miarą bazującą na dwuletniej średniej cytowań opublikowanych artykułów. Redakcje są pod ogromną presją, by maksymalizować swój IF i zyski wydawcy, publikując artykuły o dużym potencjale cytowań w ciągu dwóch lat. Pożądane są więc teksty prezentujące nowe odkrycia, zwłaszcza te o szerokim zasięgu i zgodne z popularnymi paradygmatami. Z tego powodu najtrudniej jest opublikować wyniki niekonkluzywne (przykład z medycyny: Evelyne Decullier i inni, Fate of biomedical research protocols and publication bias in France: retrospective cohort study), krytyczne wobec popularnych teorii, a także replikacje badań (przykład z psychologii: G. Neil Martin i Richard M. Clarke, Are psychology journals anti-replication? A snapshot of editorial practices).

Polityka ta doprowadziła do zjawiska nazwanego kryzysem replikacyjnym. W wielu dziedzinach nawet ponad połowa badań pokazywała efekty, które nie istniały w rzeczywistości. Szczególnie głośne były przypadki badań medycznych nad rakiem, w których nie udało się powtórzyć wyników 90% eksperymentów (Haijun Wen i inni, On the low reproducibility of cancer studies), czy książki Daniela Kahnemana O myśleniu szybkim i wolnym, gdzie trudności z powtórzeniem mogą dotyczyć od 54% do 88% przytoczonych badań (zob. Ulrich Schimmack, A meta-scientific perspective on „Thinking: Fast and Slow”). Równie alarmujące powinny być analizy, wedle których to właśnie najbardziej prestiżowe czasopisma publikowały najwięcej prac trudnych do zreplikowania (Björn Brembs, Prestigious science journals struggle to reach even average reliability), a niereplikowalne badania były cytowane nawet dwukrotnie częściej (Marta Serra-Garcia i Uri Gneezy, Nonreplicable publications are cited more than replicable ones).

Cena systemu

Lwią część systemu ewaluacji nauki – od rankingów uniwersytetów, poprzez firmy doradcze i wyliczające wskaźniki, aż po wydawców czasopism naukowych – stanowią usługi komercyjne. Nic dziwnego, że cały system jest niezwykle i nieproporcjonalnie kosztowny. Wydany kilka lat temu raport Europejskiego Stowarzyszenia Uniwersytetów wskazuje, że tylko w 2017 roku 26 państw naszego kontynentu wydało łącznie prawie 600 milionów euro na subskrypcję czasopism naukowych. Aż trzy czwarte tej kwoty trafiło do pięciu gigantów wydawniczych, którymi są Elsevier, Springer Nature, Wiley, Taylor & Francis oraz Amerykańskie Towarzystwo Chemiczne (ACS).

Skąd takie pieniądze? Zasadniczy mechanizm jest prosty. Naukowcy zatrudnieni często na publicznych uniwersytetach i niekiedy finansujący swoje projekty z publicznych grantów prowadzą badania i na ich podstawie piszą artykuły, które następnie wysyłają do anglojęzycznych czasopism międzynarodowych. Artykuły te są bezpłatnie recenzowane przez innych naukowców. Przed publikacją korporacyjny właściciel podsuwa autorom do podpisania umowę, w której za darmo przenoszą na niego prawa majątkowe, po czym udostępnia tekst odpłatnie. Aby przeczytać taki artykuł, musimy zapłacić kilkadziesiąt dolarów albo skorzystać z subskrypcji zapewnionej przez instytucję, w której pracujemy, lub państwo.

Tam, gdzie teksty udostępniane są nieodpłatnie, koszty przerzuca się na autorów badań. Mówimy o kwotach, które niekiedy przewyższają 10 tysięcy dolarów za artykuł; opłaty rosną drastycznie wraz z prestiżem czasopism. Autorzy raczej nie mają do dyspozycji takich pieniędzy, ale mogą je mieć instytucje, które ich zatrudniają lub przyznają im granty, instytucje nierzadko utrzymywane z podatków. Właśnie dlatego wrześniowy Manifest Otwartej Humanistyki przygotowany w ramach prac Instytutu Badań Literackich PAN mówi, że „postulat otwartego dostępu został zawłaszczony przez międzynarodowe korporacje”. W latach 2015–2018 wydawnictwa Elsevier, Sage, Springer Nature, Taylor & Francis oraz Wiley pozyskiwały z tego źródła w sumie około 250 milionów dolarów rocznie (Leigh-Ann Butler i inni, The oligopoly’s shift to open access).

Korporacyjni wydawcy – powtórzmy – nie oferują wynagrodzeń ani za napisanie tekstu, ani za jego recenzje. Zdarza się, że płacą redaktorom i korektorom; pokrywają także koszty infrastruktury technicznej (systemy do obsługi artykułów, strony internetowe, hosting). Nie uzasadnia to jednak tak wysokich opłat za subskrypcje i przetwarzanie tekstów. Koszty, jakie wydawnictwa ponoszą, by przygotować artykuły do publikacji, bardzo rzadko przekraczają połowę opłaty za samą publikację, z kolei zyski wydawców są bardzo wysokie, marże sięgają nawet 40% u firm takich jak Elsevier i Wiley, a w przypadku Hindawi nawet 50% (Richard Van Noorden, Open access: The true cost of science publishing). Bardzo dużo płacimy również w Polsce: w latach 2022–2024 ministerialne dotacje na program Wirtualna Biblioteka Nauki wynosiły ponad 230 milionów złotych rocznie.

Kierunek zmian

Nie powinniśmy się godzić na obniżanie jakości badań, na szeroki transfer publicznych pieniędzy do prywatnych kieszeni ani na to, że badacze wykonują ogrom darmowej pracy na rzecz największych wydawnictw. Wiedza, która powstaje dzięki publicznym środkom, musi być publicznie dostępna, między innymi dla dziennikarzy piszących o kryzysie klimatycznym, wojnach czy epidemiach. Każdy z nas, ludzi nauki, może się do tego przyczynić na własną rękę, udostępniając bezpłatnie swoje teksty w internecie w wersji dopuszczonej przez umowę z wydawcą.

Możemy również publikować wyłącznie w czasopismach korzystających z modelu diamentowego otwartego dostępu – który nie obejmuje opłat ani od autorów, ani od czytelników, i którego koszty pokrywają na przykład uniwersytety lub organizacje zrzeszające badaczy – rezygnować z recenzowania i redagowania w korporacyjnych pismach lub dołączać do publicznych bojkotów i protestów, takich jak The Cost of Knowledge. Dopóki jednak nie zmieni się system wydawniczy i ewaluacyjny, działania te mogą być niekorzystne dla naszej kariery naukowej – niewykluczone też, że utrudnią nam osiągnięcie pozycji zawodowej, którą następnie moglibyśmy wykorzystać w dążeniu do zmian – dlatego nie należy się spodziewać, aby były podejmowane masowo, zwłaszcza przez młodych badaczy. Jak zresztą zauważają fizycy, którzy przygotowali raport Against Parasite Publishers, czasopisma korporacyjnych wydawców – przy wszystkich ich wadach – pozostają ważnym merytorycznie obszarem komunikacji naukowej. Nie bez przyczyny w styczniu 2023 roku wielu polskich badaczy zareagowało wzburzeniem, gdy się okazało, że ówczesne Ministerstwo Edukacji i Nauki planuje zaprzestać finansowania dostępu do niektórych czasopism, w tym słynnych „Nature” i „Science”.

Na szczęście problemy światowej nauki nie pozostały bez odzewu. Dla przyszłości polskiej nauki w świecie być może kluczowe jest to, byśmy dostrzegli kierunek wprowadzanych zmian. A te, choć dziś jeszcze mocno rozproszone, są coraz szersze i następują coraz szybciej. Część ma charakter odgórny. W ostatnich latach na przykład Komisja Europejska wezwała państwa członkowskie do wspierania systemu publikacyjnego opartego na diamentowym otwartym dostępie, a Europejska Rada ds. Badań Naukowych, przyznająca granty ECR, zapowiedziała duże zmiany we własnym systemie ewaluacji (Maria Leptin, Changes in the evaluation of proposals for ERC grants). O istocie tych zmian może dużo powiedzieć komentarz dyrektora Research on Research Institute, Jamesa Wilsdona (Opinion: The journey to responsible and experimental research funding): „[…] zmiany są motywowane obawami co do napięć w konwencjonalnych systemach peer review, alokacji i ewaluacji. Systemy te coraz częściej postrzegane są jako zepsute, mamy też na to coraz więcej dowodów, a ponadto rosną koszty w postaci zmarnowanych zasobów, niewykorzystanych pomysłów i potencjału oraz utraconych lub sfrustrowanych talentów”.

Wiele zmian zachodzi też i oddolnie. Debata naukowa coraz częściej prowadzona jest na podstawie preprintów – artykułów czasem dopiero czekających na publikację w czasopismach, czasem w ogóle do takiej publikacji nieprzeznaczonych. Obok coraz liczniejszych czasopism, które działają w formule diamentowego otwartego dostępu, szybko rozwijają się takie projekty jak Peer Comunity In, oferujące bardzo wysoki poziom recenzji artykułów i niezależne od dużych wydawnictw. Inne, jak czasopismo „eLife”, starają się ograniczyć opłaty do minimum, a także przechodzą na system publish-then-review, w którym pismo rezygnuje z podejmowania decyzji o publikacji na podstawie recenzji, jednocześnie dołączając te ostatnie do opublikowanego artykułu.

Reformy przeprowadzane w Polsce przez ostatnie kilkanaście lat miały na celu ściślejsze włączenie naszego kraju w globalny obieg naukowy. Jeżeli pozostaniemy przy dotychczasowym modelu i nie włączymy się w nurt zmian, których celem jest właśnie jakość nauki, to czy wdrażana przez nas wizja nie stanie się przestarzała? Być może firmy takie jak Elsevier, MDPI czy Hindawi, widząc kierunek zmian, spróbują przerzucić ciężar swojej działalności na kraje Globalnego Południa i Globalnego Wschodu. Czy w takim wypadku jako państwo nie ryzykujemy pozostania na peryferiach, w roli rynku zbytu?

W artykule wykorzystano fragmenty tekstu Stanisława Krawczyka Czas korporacyjnych wydawców musi się skończyć opublikowanego w internetowej wersji „Forum Akademickiego” 29 lipca 2024 roku.

Stanisław Krawczyk, adiunkt w Instytucie Socjologii Uniwersytetu Wrocławskiego, interesuje się nierównościami w nauce i badaniami gier wideo

Paweł Lenartowicz, członek zarządu i jeden z założycieli Stowarzyszenia na rzecz Otwartej Nauki, zajmuje się tematyką metanauki i statystyki

Wróć