Krzysztof Papis
Rys. Sławomir Makal
Wiele napisano o niedostatkach systemu peer review w procesie oceny publikacji naukowych. Wielokrotnie widząc banalne błędy w publikacji, zastanawiam się, o czym podczas pisania myślał autor (autorzy) i co tam robił recenzent, w tym systemie główny odpowiedzialny za jakość pracy naukowej przyjmowanej do druku. Przez sito peer review przepuszczane bywają poważne błędy merytoryczne i nierzadko dopuszczane są do druku prace, które wcale na to nie zasługują. Ale tego typu błędy można uznać za wypadki przy pracy wpisane w szerszy system społecznej weryfikacji efektów pracy naukowców, podobnie jak demokracja – i tak jak demokracja niewolny od błędów. Możliwe, że takie błędy niektórym autorom ułatwiają karierę, niektóre pseudoodkrycia weryfikowane są negatywnie zbyt późno. Gorzej, gdy nierozpoznanie przez recenzenta (eksperta) walorów pracy naukowej czy projektu badawczego nie pozwala rozwinąć badań czy projektów cennych zarówno dla nauki, jak i szerzej może też dla społeczności. Zatem można postawić tezę, że największe straty powoduje analogiczny do peer review system ocen projektów badawczych czy badawczo–rozwojowych, bowiem błędna ocena projektu przez recenzenta(ów) skutkuje odrzuceniem projektu i pozbawia szans na karierę naukową i/lub zawodową zdolnych badaczy i przedsiębiorców, a w całości pozbawia nasz kraj istotnej części środków rozwojowych pochodzących ostatnio głównie z zasobów UE (wobec mizernego finansowania z budżetu krajowego).
Swego rodzaju kafkowskim kuriozum stają się protesty wobec niesprawiedliwej (niemerytorycznej) oceny projektów, kiedy to wobec ponawianych i wzmacnianych argumentów na rzecz danego projektu odpowiedzią jest utwardzenie stanowiska i odmowa wszelkiej dyskusji recenzentów z autorami. Sytuacja staje się zgoła dramatyczna, kiedy na skutek niekompetencji i braku przychylności recenzentów (wspieranych przez instytucjonalnego operatora) środki przyznawane przez UE (np. na rozwój innowacyjności małych i średnich przedsiębiorstw) nie są rozdzielane (a więc nie przysłużą się do rozwoju), bo recenzenci i operator nie chcą się przyznać do niewiedzy, a już zwłaszcza do pomyłki.
Żeby nie korzystać z opowieści kuluarowych a pozostać na gruncie sprawdzonych faktów i relacji z pierwszej ręki, wykorzystam przykład znany mi osobiście, dotyczący projektu, którego byłem jednym z ważniejszych współautorów. Jednak, żeby nie ściągać odium na dyscyplinę ani na współpracowników, skorzystam z poniższej paraboli.
Załóżmy, że projekt dotyczy kosmicznej podróży na Marsa. Piszemy projekt, wskazujemy, że załogowych lotów na Marsa dotąd nie było, wywodzimy na tej podstawie, że projekt jest innowacyjny, zmieni sytuację na rynku itd., itp. Opisujemy, czym i jak będziemy ten projekt realizować, jaką kadrą dysponujemy, kalkulujemy środki, pożyczkę od inwestora – wszystko zgodnie z wytycznymi. No i dostajemy ocenę, w której większość wymaganych kwestii uzyskała ocenę negatywną. Z tekstu oceny wynika, że oceniający nie za bardzo znają się na astronautyce, więc w odwołaniu od negatywnej oceny jeszcze raz wszystko dokładnie wyjaśniamy, piszemy, że owszem ludzie byli na orbicie, nawet na Księżycu, ale my myślimy o dalszych podróżach, których do tej pory nikt nie realizował, więc projekt jest innowacyjny, ma przed sobą przyszłość itd., itp. Wydaje się, że wystarczy to wszystko ze zrozumieniem przeczytać.
Tymczasem w odpowiedzi otrzymujemy podtrzymanie negatywnych ocen „wsparte” rewelacjami w rodzaju, że loty w kosmos są już techniką podróżowania znaną od lat 60. XX wieku, że ludzie latają na Księżyc, statki bezzałogowe wysyłane są w kosmos nawet dużo dalej, więc nasza propozycja nie jest innowacyjna. W ramach wisienek na torcie mamy informacje, że na Księżycu było już 12 ludzi, że nasz zespół badawczy nie zatrudnił na stanowisku kierownika z doświadczeniem w budowie statków kosmicznych, a kierownik B+R koordynujący cały projekt nie ma doświadczenia w realizacji tego typu rozwojowych projektów, w tym zwłaszcza w budowie kosmodromu.
Ponieważ tego typu wątpliwości dało się już wyczytać z pierwotnej negatywnej oceny projektu, pisaliśmy w odwołaniu, że w Polsce trudno jest znaleźć ludzi z doświadczeniem w budowie statków kosmicznych, kierownikiem jest naukowiec z doświadczeniem w realizacji projektów badawczych w pokrewnych dziedzinach nauki/techniki, zatrudniliśmy inżynierów specjalizujących się w technice lotniczej z zagranicznym doświadczeniem w zakresie technik kosmicznych, a kierownik B+R ma duże doświadczenie w realizacji projektów NCBR, które – jak wiadomo – zawierają poważny komponent realizacyjny. Podkreślaliśmy, że w Polsce nie ma dostępnych na rynku specjalistów z tej dziedziny, więc ci, których zgromadziliśmy do opracowania i zatrudnimy przy realizacji projektu, mający uznany dorobek naukowy, są najlepsi z możliwych. No ale niestety. Ekspertom, którzy mają kłopoty z rozróżnieniem lotów na Marsa od lotów na Księżyc nie byliśmy w stanie wytłumaczyć, że na Marsa ludzie jeszcze nie latają. Tak to niestety wygląda, ponieważ nie ma żadnej platformy porozumienia między autorami projektu, których znamy z imienia i nazwiska, z dorobku naukowego, wiemy, że są wybitnymi specjalistami w dziedzinie, której dotyczy projekt a anonimowymi „ekspertami” o zupełnie nieznanym dorobku naukowym i zawodowym. I nie wiadomo przy tym, na czym polega istota niezrozumienia naszego projektu, bo wydaje się, że napisaliśmy w nim wszystko, co należało, a prostego pytania o różnicę między Księżycem a Marsem nie ma komu zadać.
Co gorsza, sąd administracyjny, o który w końcu oparła się nasza sprawa, z nieznanych powodów traktuje rewelacje „eksperta” jak prawdę objawioną, a nasz autor projektu nie ma prawa zabrać głosu, bo nie jest (jeszcze) formalnie zatrudniony w firmie, która miałaby ten projekt realizować.
I w taki oto sposób nasz projekt profesjonalnie przygotowany przez grono wybitnych specjalistów i praktyków został storpedowany przez całkowicie bezpodstawne, niemerytoryczne (może tendencyjne?) oceny anonimowych recenzentów (ekspertów).
Jest oczywiste, że nasza sytuacja nie jest odosobnionym wypadkiem przy pracy operatora mającego na głowie tysiące przeróżnych projektów. Na wokandzie sądowej „wisieli” kolejni poszkodowani. Bezpośrednim efektem tej sytuacji jest, co zrozumiałe, frustracja twórców projektu i zniechęcenie do dalszych prób, wobec niewiary w rzetelne podejście operatora do oceny kolejnych projektów. Jednak najgorszym jej efektem jest odmowa przekazania środków na realizację prawdziwie innowacyjnych projektów w Polsce. Tym samym okazuje się, że operator nie realizuje zadania, jakie przed nim postawiono, czyli przekazania unijnych środków na rozwój MŚP w naszym kraju.
W mojej ocenie, jako człowieka doświadczonego, często negatywnie, przez słabo funkcjonujący w Polsce system oceny projektów badawczych i badawczo-rozwojowych podstawową bolączką systemu oceny, kosztującą wielu badaczy zdrowie i kariery, są niewiedza i bezkarność recenzentów (ekspertów) zatrudnianych przez NCN, NCBR czy PARP. Żadna bzdura popełniona przez „eksperta” nie idzie na jego rachunek, bo ekspert jest z urzędu anonimowy, a tym samym bezkarny, bez względu na straty, jakie przynosi wizerunkowi firmy, dla której pracuje czy finansowe straty dla kraju, jeśli myślimy o środkach unijnych. Nie poprawia tego bilansu fakt wykorzystania całości środków, bo można zakładać, że przy braku kompetentnych recenzentów w dziedzinach faktycznie innowacyjnych, środki kierowane są na projekty „znajome” (w sensie, że ekspert wie, o czym mowa), ale nie na wybitne i całkowicie nowe, bo o takich krajowi eksperci często najzwyczajniej nie mają pojęcia. A skoro nic ich nie zmusza, żeby nabyli wiedzę w unikalnych dziedzinach, bo nikt ich nie ocenia i nie oskarża o pisanie bredni, to nadal tej wiedzy nie posiądą i kółko się zamyka.
I tutaj pojawia się propozycja do rozważenia w gronie przedstawicieli naszych gremiów naukowych polegająca na wprowadzeniu możliwości odtajnienia recenzenta w przypadku udowodnienia jego rażącej niekompetencji/stronniczości, być może poprzedzonej konfrontacją z autorami projektu w okolicznościach sprzyjających wyjaśnieniu rozbieżności oraz mediacji między stronami. Zakładam a priori, że już sama potencjalna choćby możliwość pociągnięcia do odpowiedzialności zmobilizuje ekspertów do większych starań o akuratność ich opinii, co samo w sobie przyniesie wymierne korzyści systemowe. W tej sytuacji można również założyć, że przypadki faktycznej konieczności odtajnienia i/lub konfrontacji obu stron nie będą zbyt powszechne, bowiem zwłaszcza przy wprowadzeniu jakiegoś systemu kar (np. finansowych) jakość pracy ekspertów podniesie się znacząco, z pożytkiem dla całego systemu oceny projektów badawczych i rozwojowych w Polsce. Na czym decydentom politycznym, ale szczególnie całemu środowisku naukowemu, powinno bardzo zależeć.
Powszechnie uznany aksjomat, że recenzent musi pozostać anonimowy, pochodzi z czasów, gdy etyka w życiu i w nauce miała jeszcze istotne znaczenie. Świat niestety zmienia się na gorsze, ludzi lepszych zastępują gorsi/słabsi, a Mikołaj Kopernik myślał, że taki mechanizm dotyczy tylko pieniądza. Szczegóły dotyczące wprowadzania i funkcjonowania proponowanego systemu należy oczywiście szczegółowo przemyśleć i przedyskutować w środowisku naukowym. Można być pewnym, że pojawi się krytyka, padnie wiele kontrargumentów, ale jeśli zgadzamy się co do konieczności usprawnienia i uzdrowienia systemów oceny i finansowania projektów, mógłby to być poważny krok w tym kierunku. A na dokładkę raczej niedrogi, zwłaszcza gdyby kary nakładane na złych recenzentów spływały na konto instytucji/organizacji powołanej do kontroli ich pracy.
Dr hab. Krzysztof Papis, adiunkt w Centrum Medycyny Translacyjnej Szkoły Głównej Gospodarstwa Wiejskiego w Warszawie
