logo
FA 10/2021 w świecie ocen i recenzji

Błażej Nikiel-Wroczyński

Pocałunek śmierci

Pocałunek śmierci 1

Fot. Stefan Ciechan

Komentarze recenzentów potrafią dotyczyć praktycznie każdego aspektu składanego wniosku i nierzadko wprawiają w osłupienie nawet osoby, które proces wnioskowania o fundusze na badania przechodziły wielokrotnie.

Kto nie publikuje, ten ginie – stwierdzenie to, po raz pierwszy użyte w roku 1928, stanowi krótkie, acz dosadne podsumowanie oczekiwań wobec pracownika naukowego. W instytucjach, których budżet w sporej mierze opiera się na środkach pochodzących spoza puli na bieżącą działalność przekazywanych przez ministerstwo, zapisać można również jego sparafrazowaną wersję: kto nie składa wniosków grantowych, ten ginie. Zdobywanie funduszy na prowadzenie badań naukowych to nieodłączny element pracy współczesnego naukowca. Z jednej strony pozwala to na zakup nowej aparatury badawczej, materiałów potrzebnych do badań, na opłacenie udziału w konferencjach naukowych albo wyjazdach roboczych. Z drugiej – finansowanie z projektu to jeden z czynników, które pozwalają na podniesienie pensji – zazwyczaj stosunkowo niskiej i nieatrakcyjnej w porównaniu do wynagrodzeń oferowanych w sektorze prywatnym – i to podniesienie znaczące, nierzadko do poziomu o 50-75% wyższego niż kwota bazowa. Stąd też z procesem wnioskowania o środki na badania młodzi naukowcy spotykają się najczęściej już podczas studiów. Dla niektórych jest to uczestnictwo w większym projekcie jako wykonawca, dla innych złożenie wniosku o dofinansowanie własnego pomysłu, na przykład na macierzystym wydziale. Później przychodzi moment, gdy pojawia się możliwość składania grantów w ramach programu Preludium, oferującego już całkiem sporą pulę na wydatki, Preludium Bis, a potem do konkursów Sonata, Opus i wielu innych.

Elementem łączącym procesy publikowania i aplikowania o środki na badania jest obecność recenzentów. W tym pierwszym przypadku recenzja, niezależnie jak bardzo negatywna, nie stanowi zazwyczaj „końca świata”; poza najbardziej obleganymi czasopismami (jak „Nature”, czy „Science” albo inne tytuły z ich rodzin wydawniczych) nawet i decyzja o odrzuceniu manuskryptu nie oznacza przekreślenia szans na publikację (chyba, że zmaterializuje się koszmar niektórych i zanim praca trafi do recenzenta, ktoś już opublikuje wyniki zbliżonych badań). Otrzymana z wydawnictwa odpowiedź zawiera komentarze, które najczęściej pozwalają na stosunkowo szybkie przekonstruowanie źle ocenionego artykułu (a czasami lista poprawek, które są konieczne, by ponownie przesłać go do oceny, jest krótsza niż w przypadku niektórych „major revision”). Poza wydawnictwami o ściśle określonych ramach czasowych dla przesyłania materiałów czas na złożenie artykułu jest praktycznie „zawsze”. Dodatkowo istnieje spore pole do dyskusji z recenzentami: nawet jeśli uwagi nie są wyrażone w formie pytań, to nierzadko na przynajmniej niektóre z nich udaje się odpowiedzieć w taki sposób, że zamierzona wymowa spornych fragmentów artykułu zostaje zachowana. Recenzja publikacji spełnia więc dwojaką rolę: z jednej strony informuje redaktora naczelnego, czy i kiedy poziom publikacji jest odpowiedni, by mogła zostać włączona do czasopisma/książki, z drugiej – sygnalizuje autorowi, które aspekty pracy winien poprawić. W wielu przypadkach celne uwagi pozwalają na znaczne podniesienie wartości naukowej publikacji, a także rozwój warsztatu naukowego jej twórcy.

Szansa nauczenia się czegoś nowego

Nieco inaczej dzieje się w przypadku składania wniosków o granty naukowe. Ponieważ pula pieniędzy do podziału jest silnie ograniczona, tylko recenzje „bardzo pozytywne” pozwalają na uzyskanie finansowania (czasami nawet to nie wystarcza, jeśli poziom naukowy wielu projektów jest wyrównany). Recenzja jest też niejako ostateczna: w wielu konkursach nie ma możliwości przedyskutowania niuansów zgłaszanego projektu, nie istnieje też możliwość odwołania się od otrzymanej oceny z powodów innych niż uchybienia formalne. Mimo to recenzja spełnia dwa główne zadania: z jednej strony pozwala na uszeregowanie wniosków pod kątem jakości i możliwości wykonania, z drugiej – uzasadnienie oceny jest cenną informacją dla wnioskodawcy. Chodzi tu nie tylko o komentarze pozytywne, pozwalające na identyfikację silnych stron wniosku (a także wartościowe o tyle, że pochwały ze strony kogoś innego niż rodzice są zawsze w cenie), lecz przede wszystkim o te wskazujące na niedociągnięcia projektu. Podobnie jak w przypadku recenzji wydawniczej, celne komentarze pozwalają na poprawę warsztatu naukowego i „portfolio” przez wnioskodawcę (to drugie na przykład poprzez położenie nacisku na rozwój współpracy zagranicznej czy zwiększenie nacisku na prezentowanie wyników badań na międzynarodowych konferencjach).

Mogło by się wydawać, że – poza oczywistym smutkiem z powodu odmowy finansowania – negatywna recenzja wniosku grantowego powinna być odbierana jako szansa nauczenia się czegoś nowego. Okazuje się jednak, że większość naukowców kojarzy je raczej z dość zaskakującymi komentarzami dotyczącymi składanych wniosków. Część komentarzy stanowi swego rodzaju ciekawostki: na przykład historia wniosku, w którym jeden z recenzentów najwięcej uwagi poświęcił wyborowi przez autora-doktoranta komputera stacjonarnego, co miało być wyznacznikiem dojrzałości wnioskodawcy (ponieważ taka maszyna może też służyć innym członkom zespołu badawczego, w przeciwieństwie do laptopów, o które wnioskuje coraz to więcej osób). Gorsze są te, które skutkują obniżeniem oceny końcowej projektu, a w konsekwencji jego odrzuceniem. Komentarze takie potrafią dotyczyć praktycznie każdego aspektu składanego wniosku i nierzadko wprawiają w osłupienie nawet osoby, które proces wnioskowania o fundusze na badania przechodziły wielokrotnie.

Żeby zrozumieć rekurencję, trzeba zrozumieć rekurencję – to humorystyczne stwierdzenie znają chyba wszyscy, którzy zetknęli się z programowaniem. Gorzej, kiedy jego odpowiednik pojawia się w ocenie wniosku o grant, jak stało się w przypadku pewnego polsko-niemieckiego projektu. Kierownikiem miał być doktor habilitowany z wieloletnim doświadczeniem – zarówno naukowym, jak i organizacyjnym – prowadzący badania wraz z zagranicznymi kolegami od lat dziewięćdziesiątych ubiegłego wieku. Szkopuł w tym, że o ile w samych badaniach pełnił rolę kierowniczą, nie pełnił jej we wnioskach o finansowanie; był najwyżej głównym wykonawcą, ale nie kierownikiem projektu. Stąd też jego doświadczenie uznano na niewystarczające: skoro nigdy nie prowadził grantu badawczego, to przyznanie funduszy jest ryzykowne. To właśnie problem rekurencji w wersji projektowej: żeby kierować projektem, trzeba wcześniej kierować projektem. Jeśli odpowiednio wcześnie nie zdecydowano się na składanie własnego wniosku, włączając badania do większego projektu (albo nie udało się uzyskać finansowania), to zdobycie środków na nowy projekt staje się formalnie niemożliwe.

Nietrafne zarzuty

Analiza argumentów wskazujących na niewystarczające doświadczenie osób chcących – na różnych szczeblach – zostać kierownikami projektów pokazuje, że opisany powyżej przykład nie jest jedynym wartym wspomnienia. Czasami wymagania im stawiane są skrajnie wysokie, wręcz niewykonalne. W recenzji projektu składanego w ramach programu OPUS pojawiło się stwierdzenie, że wnioskodawca – naukowiec posiadający znaczną liczbę wysoko cytowanych publikacji w międzynarodowych czasopismach o wysokich impact factors – w zasadzie nic takiego nie osiągnął, skoro w dorobku nie ma żadnej pracy opublikowanej przez „Nature” czy też „Science”. Rzecz jasna chodziło o „główne” czasopismo z rodziny. W innym przypadku, w projekcie składanym w ramach programu Uwertura, recenzent uznał, że indeks Hirscha wnioskodawcy (doktoranta) jest za niski, żeby ten mógł z powodzeniem starać się o grant ERC, do którego Uwertura miała przygotować. Zanim jednak recenzja (negatywna) została udostępniona w serwisie OSF, przywołany powyżej wskaźnik osiągnął wartość zbliżoną do „wymaganej” przez recenzenta; zanim upłynął rok od rozstrzygnięcia konkursu, warunek został spełniony. W razie przyznania środków, kierownik projektu miałby jeszcze kilkanaście miesięcy na wnioskowanie o środki europejskie – regulamin konkursu przewidywał, że od zakończenia stażu zagranicznego wniosek taki należy złożyć w ciągu pół roku. Złożone odwołanie nie przyniosło skutku, gdyż nie było to uchybienie formalne. W innym znowuż projekcie, tym razem Sonacie, okazało się, że publikacje innego wnioskodawcy – w większości nie starsze, niż 4-5 lat – mają stosunkowo niską liczbę cytowań. Związku przyczynowo-skutkowego między rokiem ich publikacji a cytowaniami niestety nie zauważono.

Uwagi do budżetu również potrafią wprawić w zdumienie. Od wielu już lat kładzie się nacisk na mobilność naukowców, budowanie siatki kontaktów międzynarodowych. Dotyczy to zarówno dłuższych wyjazdów, jak i krótszych pobytów roboczych. Możliwość spotkania się twarzą w twarz ze współpracownikami pozwala na znacznie wydajniejsze prowadzenie badań – choćby dlatego, że z jednej strony osoba goszcząca w innym ośrodku jest wolna od codziennego życia własnej instytucji (faktura do podpisu „na już”, współpracownik poszukujący pomocy w walce z obrażoną aparaturą i podobne), z drugiej – ma ona możliwość znacznie łatwiejszego wywierania nacisku na partnera, żeby poświęcić się pracom nad projektem (wtedy to ona staje się współpracownikiem, który nie potrafi przekonać aparatury do działania). W takim kontekście zarzut, że wyjazdy robocze w projekcie, którego celem jest rozwój współpracy z zagranicznym instytutem – w liczbie dwóch-trzech podróży zagranicznych na osobę na rok – to „lekka przesada”, gdyż istnieją narzędzia takie jak choćby komunikatory internetowe, brzmi niewytłumaczalnie.

W innym projekcie pojawił się natomiast zarzut, którego do dzisiaj nie potrafię zrozumieć: fakt, że przeprowadzono wstępne badania dotyczące tego, co ma być sednem projektu, miał według recenzenta dowodzić, że wnioskodawca posiada dostęp do infrastruktury komputerowej pozwalającej na realizację nowych badań, co czyniło budżet nieuzasadnionym. Trudno w ogóle tę uwagę skomentować; fakt przeprowadzenia wstępnego rozeznania za pomocą pojedynczej jednostki obliczeniowej czy niewielkiego, starszego klastra komputerowego w żaden sposób nie implikuje, że powtórzenie czy rozwinięcie tego procesu dla kilkuset czy kilku tysięcy obiektów będzie możliwe przy użyciu tego samego sprzętu. Wiele badań wstępnych prowadzi się też, korzystając z uprzejmości współpracowników z innych instytucji, którzy posiadają własne centra obliczeniowe i są na tyle uprzejmi, że udostępniają niewielką część ich zasobów. Praca w pełnej skali przy użyciu cudzego sprzętu byłaby zwykłym nadużyciem gościnności, nie wspominając już o tym, że raczej nie można wtedy mówić o wygodnej i wydajnej pracy. Jeszcze inny przykład: podobnie zaskakujące było stwierdzenie, że doświadczenie kierownika projektu jest na tyle duże, iż zatrudnienie dwóch dodatkowych wykonawców nie jest uzasadnione. Tutaj aż chce się zapytać, jaki wymiar czasu pracy proponowałby recenzent dla wnioskodawcy; obawiam się, że odpowiedź oscylowałaby w okolicach 20 godzin na dobę, 6 dni w tygodniu (dzień siódmy pozostawiamy na poczet prowadzenia dokumentacji projektowej).

O ile przytoczone powyżej historie mogą nawet i śmieszyć, to nie można zapomnieć, że każdy taki komentarz powiązany jest z obniżeniem oceny wniosku, co w konsekwencji prowadzi do jego odrzucenia na podstawie nieprawdziwych przecież przesłanek.

Efekt nieprecyzyjnego wyrażenia problemu badawczego

Jeszcze inny problem stanowią uwagi do części naukowej. Tutaj trzeba na wstępie zaznaczyć, że jej ocena jest chyba najtrudniejsza; wiele projektów to badania wysoce wyspecjalizowane, nierzadko łączące wiedzę z kilku różnych obszarów badawczych (jest to w sumie dobry przykład podejścia innowacyjnego), przez co dobranie odpowiedniego recenzenta nie jest łatwe. Niektóre projekty są też obarczone sporym ryzykiem i ocena ich wykonalności, nawet przy bardzo dobrze opracowanym wstępie teoretycznym, jest dla recenzentów trudna. Zdarzają się recenzje bardzo pozytywne i przychylne, a przykładem jest komentarz do dość ryzykownego projektu. Osoba oceniająca zwróciła uwagę, że hipoteza badawcza może okazać się nieprawdziwa, ale nie zmienia to faktu, że wniosek jest interesujący i jego finansowanie uzasadnione ze względu na wartość naukową rezultatów (czy to pozytywnych, czy to negatywnych).

Niestety sporo recenzji ma wydźwięk negatywny z powodu niezrozumienia czy błędu recenzenta. Część takich przypadków to z pewnością efekt nieprecyzyjnego wyrażenia problemu badawczego przez wnioskodawcę; część jednak zawiera komentarze sugerujące, że nie do końca rzetelnie zapoznano się z treścią składanego projektu. Jak bowiem inaczej wytłumaczyć komentarz do wniosku badawczego mającego na celu analizę konkretnej klasy ciał niebieskich, z wyraźnym podkreśleniem ich unikalnego charakteru (uniemożliwiającego użycie danych i wyników dla innych klas), w którym zarówno problem dostępności danych, jak i wydźwięku projektu oparty jest tylko i wyłącznie na dyskusji rzeczonych innych klas? Albo taki, w którym składany projekt uznano za powtórzenie poprzedniego, choć zarówno badane obiekty, jak i sposób realizacji były diametralnie różne, a łączył je tylko wybór niektórych metod statystycznych? Trudno też odnieść się konstruktywnie do zarzutu, że opis merytoryczny trudno przeczytać, gdyż zawiera znaczną ilość liczb odnoszących się do referencji dołączonych do dokumentu. Problemem jest już samo określenie, czy zarzut dotyczy podejścia ilościowego w opisie wyników innych badaczy, czy… samego formatu bibliografii! Patrząc na to, co w opisie się znajduje, sądzę, że jest to ten drugi problem. Ale czy wybór konkretnego sposobu cytowania – występującego zresztą w wielu czasopismach naukowych – powinien być powodem do obniżenia oceny wniosku grantowego?

Tak nieżyczliwie, jak to tylko możliwe

Na koniec warto wspomnieć o jeszcze jednym, chyba najbardziej zastanawiającym problemie. Problemy opisane powyżej można w wielu przypadkach zrzucić na karb zwykłej pomyłki, wynikającej z braku dbałości, obciążenia obowiązkami, roztargnienia, ale wciąż niezamierzonej. Jakkolwiek taka pomyłka jest dla osoby składającej wniosek „pocałunkiem śmierci”, to całkowite wyeliminowanie takich sytuacji nie jest możliwe (choć warto wspomnieć, że decyzja ostateczna jest decyzją panelu, który przynajmniej niektóre opisane powyżej nieścisłości mógłby wychwycić). Kategorią zupełnie inną są sytuacje, kiedy cała recenzja zdaje się być napisana w sposób tak nieżyczliwy, jak to tylko możliwe. Część przytoczonych powyżej przykładów pochodzi z recenzji wniosku z programu Sonata, złożonego niedawno przez młodą osobę, ledwie kilka lat po doktoracie. Wniosek ten jeden recenzent ocenił jako dobry, podobnie jak i dorobek wnioskodawcy; na uchybienia (nieznaczne) zwrócono uwagę w sposób profesjonalny i pozbawiony emocji.

Drugi recenzent nie zdecydował się na takie podejście. Wręcz przeciwnie, w recenzji określił chęć zakupu komputera obliczeniowego jako „niedorzeczną i stanowiącą stratę pieniędzy”. Określił również wartość naukową projektu jako „zerową”, gdyż jego część naukowa miała być zbyt pobieżnie opisana. Zwrócono również uwagę na to, że chociaż liczba publikacji jest spora, to liczba cytowań niska (choć były to wyłącznie nowe prace, sprzed 2-3 lat). Wiele zarzutów nie miało pokrycia w stanie faktycznym. W każdej sekcji podkreślane były wady projektu i składającej go osoby, niektóre wydawały się przysłowiowym szukaniem dziury w całym lub opierały się na wyrwanych z kontekstu zdaniach. Obraz ten był diametralnie różny od rysującego się po przeczytaniu komentarzy pierwszego recenzenta. I o ile różnice w ocenie konkretnych wniosków pojawiają się praktycznie zawsze, to w tym przypadku miało się wrażenie, że każdy recenzent oceniał zupełnie inny wniosek, składany przez inną osobę. Nieżyczliwy ton i zdumiewający charakter niektórych zarzutów (być może użyte przez recenzenta słowo „niedorzeczne” byłoby tu na miejscu?) nie stały się jednak powodem do odrzucenia oceny przez panel ekspercki ani do zmiany jej formy. Nie istnieje też możliwość odwołania się od takiej oceny; różnica zdań jest określona mianem „naturalnej”, a zjadliwe i niesprawiedliwe komentarze trudno określić mianem „naruszenia procedury konkursowej”. Odwołanie takie zresztą, nawet gdyby zostało rozpatrzone pozytywnie, nie niesie za sobą wymiernego zysku; zanim wnioskodawca otrzyma odpowiedź, nawet pozytywną, oznacza tylko rozpoczęcie procedury oceny wniosku od nowa. Skala czasowa procesu jest na tyle długa, że rozwiązaniem prostszym może się okazać ponowne złożenie wniosku w następnym konkursie lub włączenie go do innego projektu, jako jedną z kilku części.

Jedną z największych wartości środowiska akademickiego jest szacunek dla drugiej osoby. Szacunek nie tylko dla bardziej doświadczonych, ale też dla tych, które karierę naukową dopiero zaczynają. Szacunek ten objawiać się winien mentorskim podejściem do młodszych współpracowników, rzetelnością i życzliwością w ocenie ich działań, zachęcaniem do podejmowania dalszych prób. Opisany przypadek recenzji wniosku w programie „Sonata” pokazuje, że niektórzy mają do tej wartości stosunek w najlepszym wypadku ambiwalentny.

Dr Błażej Nikiel-Wroczyński, Obserwatorium Astronomiczne UJ

Wróć