Piotr Siuda
Rys. Sławomir Makal
„System recenzji jest zły!”. To opinia, którą często słyszymy z ust koleżanek i kolegów naukowców. Zły, bo recenzje bywają nierzetelne (czasami również w topowych pismach), bo za długo na nie czekamy, w skrajnych przypadkach cały proces może trwać lata, zwłaszcza że w najlepiej ocenianych czasopismach zwykle mamy do czynienia nie z jedną, ale z kilkoma rundami oceny. Wreszcie – nic nam nie płacą, kiedy je przygotowujemy, czy wówczas, kiedy jesteśmy redaktorami. Powodów znajdujemy zresztą więcej, choć przedstawiciele różnych dyscyplin mają różne doświadczenia, a także różną tolerancję na przedłużający się proces recenzencki. Na przykład prowadzący długotrwałe badania są bardziej tolerancyjni wobec spóźnialskich redaktorów i recenzentów. Nie zmienia to faktu, że – ogólnie sprawę ujmując – akademicy nie mają zbyt dobrej opinii o systemie peer-review.
Część z nas wskazuje na problemy systemowe, na przykład związane z kosztami. Badacze i badaczki starają się to nawet szacować, według jednego z badań naukowcy rocznie spędzają łącznie 15 tysięcy lat na recenzowanie pracy innych. Ogrom pracy nie przyspiesza oceniania, co łączy się ze spadającą wydajnością naukową, tym bardziej że cały proces wcale nie zapewnia replikowalności prac, a zatem trudno mówić o kumulowaniu się osiągnięć naukowych. Poza tym recenzje kosztują pieniądze, bo są częścią systemu, w którym uczelnie wydają je na dostęp do czasopism komercyjnych wydawców, mimo że większość badań finansowana jest ze środków publicznych. Dodatkowo różne opcje „accelerated publication” mogą gwarantować przewagę dużych graczy, bo działają na zasadzie „płacisz, możesz liczyć na szybką recenzję”, niezależnie od tego czy publikacja wychodzi w modelu Open Access, czy nie.
Jako naukowcy zdajemy sobie sprawę z owej krytyki. Nie chcę przesądzać, czy rzeczywiście system recenzencki obniża wydajność naukową. Interesuje mnie wspomniane poczucie wielu, że z recenzjami „coś jest nie tak”, skoro wiele osób ma przykre doświadczenia. Bazując na tym, proponuję refleksję nad możliwymi drogami usprawnienia systemu i związanymi z tymi zagrożeniami i szansami. Przy tym odrzucam wszelkie sytuacje patologiczne, którymi nie zajmuję się w tym sensie, że tutaj nie ma czego poprawiać – należy je potępiać i do nich nie dopuszczać. Aberracji niestety jest dużo i na nieszczęście one także wpływają na wspomnianą niechęć do recenzji. Naprawa systemu peer-review polega zatem także na identyfikacji nieprawidłowości, co czynię dalej. Potem proponuję dwie możliwe drogi „naprawy”.
Do najcięższych naruszeń należy wykorzystywanie systemów redaktorskich tak, że autorzy manuskryptu proponują jako recenzenta rzeczywiście istniejącego specjalistę, ale podają jego fałszywy adres e-mail, to znaczy taki, który sami wymyślili. Próbują „przekonać” redaktorów, że to faktyczny adres, podając imię i nazwisko oraz nawiązując do miejsca pracy potencjalnego recenzenta. Chcą zatem doprowadzić do sytuacji, że to oni sami recenzują własny tekst. Zjawisko to, częstsze w naukach medycznych i ścisłych, obecne jest także w innych obszarach, co ostatnio pokazała zastępca redaktora naczelnego prawniczej „Krytyki Prawa” Małgorzata Skórzewska-Amberg (2022) na przykładzie własnego pisma. Działania takie mogą być wynikiem współpracy autorów z firmami zajmującymi się nieetycznymi działaniami i obiecującymi naukowcom skuteczność publikacyjną. Wyeliminowanie tej patologii to w dużej mierze rola redaktorów. To od ich czujności i weryfikacji autorów oraz zgłaszanych przez nich recenzentów może zależeć wykrycie fałszerstwa. Redaktorzy zwykle traktują rekomendacje jedynie jako sposób na powiększanie bazy recenzentów potencjalnie oceniających teksty innych osób niż autorzy. Nie wyklucza to jednak sytuacji, że mało czujny redaktor da się nabrać.
Sami redaktorzy też mogą fałszować procesy recenzenckie, co może wynikać z wątpliwej etycznie „kultury recenzowania”, która każe „lepiej” traktować teksty naukowców o głośnych nazwiskach. Jeśli takie działania zachodzą, należy je uznać za patologiczne i całkowicie odrzucić. Poza tym wątpliwości budzi publikowanie artykułów przez członków redakcji we własnym piśmie – rzecz powszechna w wielu czasopismach polskojęzycznych i ogólnie w wielu obszarach. Wydawcy zwykle nie przekreślają takiej możliwości. Łatwo jednak zrozumieć, dlaczego postrzegać to można jako nieetyczne, ganić i do tego nie dopuszczać. W najgorszym przypadku redakcje powinny jasno informować środowisko – na przykład na stronie internetowej – jaka jest w takiej sytuacji procedura, co dokładnie dzieje się z tekstami zgłaszanymi przez redaktorów, kto się nimi zajmuje i jak wygląda proces recenzyjny.
Praktyki drapieżne, to jest płacenie za artykuły i publikowanie ich z pominięciem rzeczywistych recenzji pomijam – to oczywista patologia. Dużo ostatnio mówi się o praktykach quasi-drapieżnych, szczególnie w kontekście popularnego wśród polskich badaczy wydawnictwa MDPI. Chociaż czasopisma z tej stajni nie są sobie równe pod względem przyjmowanych strategii, to rzeczywiście szereg działań tego wydawcy należy skrytykować. Zastrzeżenia budzą na przykład vouchery obniżające opłaty za publikowanie w MDPI dla najbardziej efektywnych, czyli najwięcej i najszybciej recenzujących naukowców. Negatywnie oceniać można zarzucanie wezwaniami, czasami z tygodniowym lub dziesięciodniowym terminem, czy proponowanie recenzowania w czasopismach spoza obszaru danego naukowca, na przykład medioznawcę czy socjologa zaprasza się do oceniania tekstów w „Molecules” czy „Nutrients”. Tego typu rzeczy zdarzają się wszędzie, problem w tym, że MDPI idzie „na żywioł”.
Recenzje są nierzetelne, pobieżne i przygotowywane „na odwal”. Na przykład mogą w ogóle nie zawierać oceny badań, być jedynie streszczeniem tekstu, albo może to być ocena niekonkretna, bądź zawierać uwagi personalne czy złośliwości. Przeciętnie przygotowanie starannej recenzji artykułu zajmuje kilka godzin pracy, a nawet cały dzień. Dobry redaktor powinien zatem wykreślać z list recenzentów tych naukowców, którzy ewidentnie nie czytają tekstów, ich recenzje liczą kilka linijek, a rady sprowadzają się do haseł w stylu: „autor jasno formułuje cel, niestety nie do końca go realizuje”. Niedbałość powoduje, że autorom włącza się myślenie, że „recenzje recenzjami, ale i tak wiemy, jak jest”. Stwarza to mechanizm polegający na tym, że po otrzymaniu negatywnej oceny i odrzuceniu manuskryptu wyrzuca się recenzję do kosza i wysyła tekst do kolejnego czasopisma, bo przecież wszyscy naukowcy uczestniczą w wielkiej loterii i może następnym razem trafi się na „lepszego” arbitra. To patologia, która powoduje, że zaczynamy wątpić w sens tego, co robimy. Stąd rola redaktorów, aby dbać o poziom recenzji i ignorować te, które są zdawkowe.
Redaktorzy przyjmują słabe recenzje, bo recenzentów znaleźć jest trudno. Nie powinno to być usprawiedliwieniem, lepiej wprost informować oceniających, czego się od nich wymaga. Recenzenci powinni być zatem proszeni, aby nie oceniać innych, jeśli nie czują się kompetentni w danej problematyce oraz nie będą mogli należycie pochylić się nad tekstem. Warto od nich też wymagać, aby rzeczywiście wskazywali, co i w jaki sposób poprawić, jak inaczej podejść do tematu, w jaki sposób rozszerzyć badania. Muszą być przy tym bardzo precyzyjni, na przykład informować, o który fragment tekstu chodzi, jednym słowem zrobić wszystko, aby ułatwić autorom pracę nad ewentualnymi poprawkami.
Inna sprawa, że czasami jakość publikacji determinuje jakość recenzji, bo trudniej jest recenzować prace o niskim poziomie tak, aby udzielać wskazówek. Dlatego w lepszej sytuacji są redaktorzy pism z niskim odsetkiem sukcesu, prestiżowych, umieszczonych w bazach WoS czy Scopus. Wiele polskojęzycznych czasopism, nawet tych z pokaźną liczbą ministerialnych punktów, działa na zasadzie „jak się nie ma, co się lubi, to się lubi, co się ma”. Redakcje nie mogą sobie pozwolić na odrzucanie tekstów przez redaktorów przed recenzjami, tak jak pisma z Impact Factorem, bo nie byłoby czego publikować. W tym kontekście negatywnie należy ocenić manipulowanie ministerialną listą czasopism, tak aby bez podstaw zawyżać punktację polskich czasopism, by „dorównały” tym najlepiej ocenianym globalnie. Wydaje się to kolejnym elementem „psującym” klimat wokół recenzji. Autorzy niższej jakości artykułów otrzymują zdawkowe recenzje i mają poczucie, że jest to rzecz normalna, bo przecież spotykana nawet w przypadku czasopism o wysokiej punktacji ministerialnej.
Opisane aberracje zasługują na potępienie. Jakie są jednak możliwe drogi poprawy systemu peer-review?
Pierwsza droga poprawy systemu polega na uczynieniu go bardziej surowym (niż jest teraz). Ma to być głównie remedium na to, że mimo recenzji cały czas publikowane są prace o miernej jakości czy wręcz opisujące badania obciążone różnymi błędami. Pokazują to projekty z zakresu naukometrii, w których badacze specjalnie umieszczają błędy w tekstach i wysyłają je recenzentom. Na przykład William G. Baxt ze współpracownikami (1998) w tekście Who Reviews the Reviewers? pokazał, że recenzenci nie byli w stanie wychwycić dwóch trzecich poważnych niedopatrzeń.
Dowodem na tak rozumianą nieskuteczność systemu peer-review są „afery” dotyczące opublikowanych tekstów zawierających kontrowersyjne czy wręcz błędne konkluzje. Zwykle pod wpływem krytyki badaczy czy medialnego rozgłosu wydawca wycofuje takie artykuły lub w mniejszym bądź większym stopniu je koryguje, czasami przy okazji redaktor naczelny rezygnuje ze swojej funkcji. Jako przykład posłużyć może szereg publikacji wydanych przez wspomniane MDPI. W 2021 roku w „Vaccines” dowodzono „braku jasnych zalet” szczepień na COVID-19, a w 2011 roku w „Nutriens” „puszczono” artykuł o tym, że spożycie słodzonych napojów gazowanych jest bez związku z plagą otyłości w Australii – jak się potem okazało został on napisany na zlecenie lobby producentów tych napojów. Nie tylko MDPI publikuje takie nierzetelne teksty. Głośno przecież było o artykule dowodzącym, że szczepionki wywołują autyzm, opublikowanym w topowym czasopiśmie medycznym „Lancet” i usuniętym dopiero po 12 latach. Tekst ten do tej pory jest „paliwem” dla środowisk antyszczepionkowych. Są to przypadki skrajne, w których niewiarygodność przedstawianych wyników zwraca uwagę społeczności naukowej. Nie wiemy – i trudno to oszacować – ile tak naprawdę publikuje się artykułów z niewykrytymi większymi lub mniejszymi błędami metodologicznymi, teoretycznymi, koncepcyjnymi itd.
Dlaczego recenzenci nie wskazują takich błędów? Jednym z powodów może być nieocenianie danych stojących za artykułem. Tak naprawdę większość czasopism nie wymaga, aby je załączać, składając artykuł. Nawet jeśli są załączone albo upublicznione, nie zostają udostępnione recenzentom, na przykład ze względu na konieczność anonimizacji manuskryptu. Zwykle przyjmuje się, że dane powinno się dostarczyć, jeśli się nas o to poprosi, ale czy rzeczywiście zawsze jesteśmy skłonni, aby to robić? Tsuyoshi Miyakawa (2020), redaktor naczelny czasopisma „Molecular Brain” z zaskoczeniem doniósł, że między 2017 a 2020 rokiem spośród 41 złożonych tekstów, wobec których poprosił o dostarczenie surowych danych przed skierowaniem do recenzji, aż 21 zostało przez autorów wycofanych. Udostępnianie danych powinno dotyczyć nie tylko nauk ścisłych, przyrodniczych, medycznych czy społecznych, takich jak socjologia, psychologia czy pedagogika. Artykuły z obszaru humanistyki też związane są z konkretnym procesem badawczym, podczas którego autorzy na przykład pracują na źródłach, a zatem gromadzą dane.
„Zaostrzenie” procesu recenzyjnego może również nastąpić przez upowszechnienie triple-blind review zamiast obecnie najczęściej spotykanego double blind-review. Nie tylko autorzy i recenzenci nie powinni znać własnej tożsamości, redaktorzy także nie mogą wiedzieć, kim są autorzy. Wstępną obróbką tekstu zajmuje się ktoś z administracji danego wydawnictwa, dostarczając redaktorowi zanonimizowane zgłoszenie. Dopiero na samym końcu ujawniana jest tożsamość autorów. „Zaostrzenie” procesu polegałoby również na zwiększaniu jego transparentności, tj. publikowaniu recenzji tekstów, a nie tylko list recenzentów z danego roku – taki zabieg stosuje na przykład „Nature Communications”. Miałoby to wymóc na recenzentach większą dbałość, zwłaszcza że w skrajnych przypadkach mówi się o ujawnianiu tożsamości recenzentów, co dokładniej omawiam dalej.
Zabiegów czyniących system recenzencki „surowszym” można wskazać więcej, na przykład znane z programów NCN ocenianie danej pracy przez panele eksperckie, podczas których konsultowane są opinie. Droga numer jeden ma jednak zasadniczą wadę. Czyni proces recenzencki jeszcze kosztowniejszym i jeszcze bardziej go wydłuża, choć wcale nie jest to takie pewne, gdyż konieczność poddania się weryfikacji przez dostarczanie danych może zniechęcać niektórych badaczy do składania artykułów (przynajmniej do wysoko punktowanych czasopism). Istnieją zresztą pomysły „zaostrzenia” procesu mające go przyspieszać. Chodzi o tak zwany cascading peer review polegający na dzieleniu się przez czasopisma recenzjami w przypadku odrzucanych i składanych gdzie indziej tekstów (po to, aby czasopisma zaoszczędziły czas). Jest to jednak problematyczne, ponieważ czasopisma różnią się poziomem recenzji oraz ze względów technicznych. Poza tym autorzy mogą poprawiać manuskrypty i stare recenzje mogą być niezasadne. Być może dlatego jest to praktyka rzadko spotykana, choć istnieją wydawcy w pewnym zakresie ją wdrażający (np. „PLOS”, „Nature”).
Jej podstawą jest założenie, że dotychczasowy proces recenzencki opiera się na złym modelu funkcjonowania nauki. Chodzi o „podejście słabego-ogniwa”, zakładające, że postęp (naukowy, indywidualny, instytucjonalny) zależy od wyłapywania słabej jakości badań i prac, najlepiej w taki sposób, aby ich w ogóle nie upowszechniać. Do tego stopnia, że nic nie szkodzi, jeśli w toku owego wyłapywania przepadnie część dobrych, nowatorskich i niekonwencjonalnych pomysłów. Pojawiać zaczynają się głosy o publikowaniu wszystkiego na zasadzie „dobre pomysły obronią się same”. Jeśli coś jest wartościowe, gwarantuje postęp naukowy, ma wartość praktyczną, zatryumfuje nad słabą nauką, nawet jeśli stanie się to dopiero po pewnym czasie. Opisywane podejście ma sprawić, że dobre pomysły nie przepadną w recenzjach w wyniku „błędów systemu”, poza tym nie wyklucza się z tego systemu nikogo, mali mają takie samo prawo jak duzi, aby wnieść coś istotnego i dokonać przełomu.
Takie są właśnie założenia mechanizmu post-publication peer review. Czasopismo publikuje artykuł bez recenzji po jedynie pobieżnym zatwierdzeniu, że ma do czynienia z tekstem naukowym, po czym wysyła go do recenzji. Oceniający są znani, a ich rekomendacje służą ewentualnemu przygotowaniu kolejnych wersji artykułu. Każda wersja widnieje jako osobna publikacja i powinna być osobno cytowana, podobnie publikowane są wszystkie recenzje. Idea stojąca za takim procesem zakłada, że nie wszystko to, co się publikuje, musi być nowatorskie i oryginalne, wystarczy, że będzie solidne. Dowodzi się, że nie ma zagrożenia publikacją słabych artykułów, bo naukowcy nie będą słabych tekstów składać, obawiając się otwartych recenzji, a nawet jeśli artykuł będzie wadliwy, zostanie jako taki oznaczony. Otwartość recenzji wcale nie powstrzyma oceniających przed surową krytyką, a dodatkowo cały proces będzie niezwykle szybki – tekst pojawia się już w momencie złożenia, co stymuluje dyskusję, a w efekcie efektywność badawczą.
Mimo że istnieją czasopisma (np. „F1000”) stosujące post-publication peer review, nie jest to zbyt popularne i nic nie wskazuje na to, aby się takim stało. Nie do końca bowiem przekonujące są argumenty jego zwolenników. Czy rzeczywiście publikowanie wszystkiego natychmiast i otwartość będą z korzyścią dla wyłapywania artykułów z przekłamanymi wynikami? Łatwo wyobrazić sobie ogrom tekstów ukazujących się przy dominacji omawianego modelu. Istnienie szeregu topowych czasopism zarządzanych przez specjalistów w swojej dziedzinie, z bardzo surowym systemem recenzenckim, jest jednak lepszym gwarantem jakości. Bo przecież uwaga większości środowiska skupia się właśnie na tych czasopismach i na tekstach w nich publikowanych. Oczywiście być może nie prowadzi to do wyłapania wszystkich błędnych artykułów, ale przynajmniej wykrywa się skrajne przypadki niekompetencji. Czy taka sama sytuacja miałaby miejsce przy kompletnie otwartym systemie post-publication? W moim odczuciu istnieją solidne podstawy, aby w to wątpić. Dodatkowo łatwo wyobrazić sobie chaos, jaki zapanowałby przy ocenie dorobku naukowców. Bardzo trudno byłoby szybko ocenić danego badacza bez gruntownej jakościowej analizy jego prac, jeśli każda miałaby praktycznie identyczny status opublikowanej w pismach, w których wszystko jest publikowane. A przecież takie bardzo dokładne pochylanie się nad publikacjami zwykle nie jest możliwe, a często także niezasadne.
Jak zatem widać, ani droga pierwsza, ani druga nie rozwiązują sygnalizowanych na początku problemów. Nie znaczy to, że nie powinniśmy z nich czerpać, aby usprawniać proces recenzyjny i próbować eliminować jego wady. Uczynienie recenzji surowszymi wydaje się postulatem dobrym, pod warunkiem że autorzy będę mieli furtkę w postaci możliwości publikowania prac przed recenzjami (a więc nawiązanie do drogi drugiej). Tak się już zresztą dzisiaj dzieje w wypadku wypuszczania pre-printów. Wersja tekstu przed recenzją to dobry sposób, aby szybko poinformować społeczność o prowadzonych badaniach, a co za tym idzie, nawiązanie do ideałów post-publication peer review. Jednocześnie mechanizm pre-printów nie jest obarczony wadami tego systemu, bo środowisko wie, że to nie to samo, co już zrecenzowane publikacje. Choć można je cytować, to nie wykazuje się ich w dorobku. Są one właśnie doskonałym sposobem na komunikowanie innym swojej pracy, nawiązywanie współpracy, stymulowanie kreatywności.
Przy wskazywaniu dobrych praktyk warto zwrócić uwagę na sygnalizowaną już ogromną rolę redaktorów, bo to często od nich zależy satysfakcja autorów z przebiegu procesu recenzenckiego, nawet jeśli nie zakończy się on dla nich pomyślnie. Wcześniej wskazałem, że redakcja powinna być szczególnie czujna, aby wyłapywać nieuczciwe praktyki. Równie ważna jest dbałość o sprawny przebieg komunikacji. Jeśli autor zaniepokojony tym, co dzieje się z jego tekstem, pisze do redaktora wiadomość z prośbą o informację, warto mu jej udzielić. Dobry redaktor to taki, który zadba o sprawny przebieg komunikacji między autorami a recenzentami. Jeśli redakcja kieruje tekst do dalszej pracy, autorzy powinni mieć możliwość odpowiedzi na recenzje, niezgodzenia się z recenzentami, na przykład przez napisanie listu po poprawkach. Na redaktorze spoczywa obowiązek zapewnienia autora, że widzi nadużycia recenzentów. Powinien na przykład sygnalizować możliwość zlekceważenia różnych uwag, choćby tych, w których recenzent każe cytować własne prace. W naukach medycznych czy ścisłych próbuje się standaryzować recenzje, czyniąc cały proces bardziej obiektywnym. Chodzi o wypracowanie różnych list kontrolnych pozwalających sprawdzać, czy złożony manuskrypt spełnia konkretne wymogi (np. equator-network.org, PRISMA dla przeglądów literatury czy CONSORT dla badań opartych na próbach klinicznych). Zastosowanie konkretnych standardów zawsze wydaje się dobrym pomysłem. Poza tym redaktorzy powinni bezwzględnie reagować, gdy uznają oceny za niekompetentne bądź napisane w złej wierze, zwracać arbitrom uwagę na niegrzeczne sformułowania, a z recenzji usuwać je bądź redagować.
Być może recenzenci powinni być za swoją pracę nagradzani finansowo, choć istnieją badania pokazujące, że wcale nie podnosi to jakości recenzji (Squazzoni et al., 2013). Grozi natomiast patologicznymi sytuacjami masowych recenzji pisanych na szybko i przez akademików nastawionych tylko na taką działalność, niekoniecznie specjalistów w swojej dziedzinie. Być może lepszym pomysłem byłby trening recenzentów, uczenie ich rzetelnego recenzowania. Choć może to także przynosić mierne rezultaty, to jednak oceniający powinni być „nauczeni” reguły: „o konieczności cytowania własnych tekstów poinformuj redakcję nie autora”. Dobrym pomysłem wydaje się natomiast trening samych redaktorów, a także działania mające uświadamiać wagę wspomnianych dobrych praktyk w całym środowisku akademickim. Tutaj liczy się między innymi uświadamianie badaczek i badaczy, że proponowanie czasopismom słabych tekstów z premedytacją i licznie na to, że się „uda”, to zawsze zły pomysł.
Dr hab. Piotr Siuda, profesor w Instytucie Komunikacji Społecznej i Mediów Uniwersytetu Kazimierza Wielkiego w Bydgoszczy. Badacz społecznych aspektów technologii informacyjnych. Jest współautorem poradnika „Publikacje naukowe. Praktyczny poradnik dla studentów, doktorantów i nie tylko”.
