Zbigniew Zembaty
Fot. Stefan Ciechan
Narodowe Centrum Nauki bardzo często nie trzyma się ustaleń swoich regulaminów. Dotyczy to w szczególności panelu nauk technicznych (ST8), w którym obszary wiedzy o niższych wskaźnikach bibliometrycznych są gorzej ocenianie przez recenzentów dobieranych przez NCN. W przypadku inżynierii lądowej są to bardzo często osoby niemające kompetencji do oceny tych projektów. Panele ekspertów NCN, a nawet Komisja Odwoławcza, nie widzą niczego złego w tej sytuacji. Proponuję w tym artykule dwie alternatywne metody jej uzdrowienia.
Entuzjaści znanego sitcomu o perypetiach młodych amerykańskich naukowców dobrze znają cytat umieszczony w podtytule, który w skróconej, żartobliwej formie oddaje problemy z obiektywizmem naukowca oceniającego badania w obcej sobie dziedzinie. Ta zabawna sentencja przypominała mi się wielokrotnie, gdy współpracowałem z NCN lub sam coś wysyłałem tam do oceny. W niniejszej analizie nie roszczę sobie pretensji do absolutnego obiektywizmu, o który, jak wiemy, trudno w nauce. Chciałbym jednak pokazać kilka przykładów braku obiektywizmu i transparentności, których można było uniknąć przy założeniu dobrej woli w reformowaniu działalności NCN. Jest to punt widzenia reprezentanta dyscypliny inżynieria lądowa, zaszytej gdzieś we wnętrzu panelu ST8 (nauki techniczne), który zastanawia się, dlaczego jego kolega z Princeton University może badać monitorowanie położenia osi obojętnej belek żelbetowych, a inny kolega z Czech działanie wiatru na konstrukcje, nie obawiając się, że badania te będą uznane za nienależące do podstawowych lub za banalne, albo po prostu mało ważne. Jednak być może reprezentant innej dziedziny znajdzie także coś dla siebie w niniejszym tekście.
Wszystkie użyte przeze mnie cytaty pochodzą z moich (lub moich kolegów) recenzji i opinii paneli ekspertów NCN.
Na początek przybliżony opis metodologii pracy większości paneli NCN przy ocenie projektów, na przykładzie typowych aplikacji OPUS i PRELUDIUM w panelu ST8, tak jak zapamiętałem to z moich prac w tych gremiach.
Ocena jest podzielona na dwa etapy. W pierwszym wnioski są rozsyłane przez przewodniczącego panelu do ekspertów, członków panelu, przy czym każdy wniosek trafia do dwóch ekspertów. Jest to dobry pomysł, służący obiektywizmowi ocen, jednak i tu pojawia się problem w przypadku tak szerokiego tematycznie panelu, jak np. ST8. Zapamiętałem, że wielu ekspertów otrzymywało do oceny nadmiar projektów zupełnie spoza zakresu swoich kompetencji. Zapewne skład panelu nie był dostosowany do struktury wniosków. Zupełnie nie odpowiadał liczbie wniosków z chemii i ochrony środowiska. Pamiętam cierpkie miny wielu panelistów, namawianych, aby nie narzekali na obcą im tematykę projektów, które otrzymali do oceny. Na podstawie pierwszych ocen sporządzana jest lista rankingowa, omawiana na posiedzeniu panelu. W przypadku znaczących różnic ocen dwóch ekspertów dokonywane jest tzw. uzgodnienie ocen, czyli wymiana opinii przy współudziale innych członków panelu, czasami żywo zainteresowanych tematami ocenianymi przez kolegów. Na tym etapie odpadało około połowy wniosków, zatem dyskusja stawała się zawsze szczególnie ożywiona, gdy mowa była o aplikacjach z grupy bliskiej poziomu odcięcia.
W kolejnym etapie wnioski są rozsyłane do recenzentów, głównie zagranicznych. Odbywało się to tak, że ekspert przysyłał propozycje recenzentów zagranicznych, a etatowy pracownik NCN (opiekun panelu) dodawał także ekspertów ze swojej bazy danych i rozsyłał wnioski recenzentom. Nie było wiadomo, ile rozesłał propozycji, a ile otrzymał odmów. Jako ekspert panelu otrzymywałem gotowe recenzje bez nazwisk ich autorów. Przynajmniej raz wniosek oceniany przez mnie jako słaby otrzymał wystarczająco dobre recenzje i znalazł się wysoko na liście rankingowej drugiego etapu. Mamy wtedy do czynienia z kolejną listą rankingową, której wyniki są dyskutowane na kolejnym spotkaniu panelu – podlegają uzgodnieniu w debacie jego członków. Nie trzeba dodawać, że uzgodnienia są szczególnie istotne, gdy dotyczą poziomu odcięcia, to jest sytuacji, gdy wniosek jest na granicy akceptacji lub odrzucenia. I tu warto zrobić pewną dygresję. Otóż o ocenie projektu decydują dwa kluczowe kryteria: jego poziom naukowy (skala 1-5) oraz ocena (pozycja naukowa) wnioskodawcy (i jego opiekuna w przypadku programu PRELUDIUM).
Przykładowa ocena naukowych kompetencji wnioskodawcy w Regulaminie NCN z 5 marca 2021 w programie OPUS ma sześć stopni:
5. Doskonały. Dorobek naukowy i osiągnięcia badawcze są doskonałe, cieszą się uznaniem na arenie międzynarodowej i są wysoko oceniane ze względu na jakość i wkład w naukę, dorobek publikacyjny i pozostałą aktywność naukową. Kierownik projektu jest czołowym w skali światowej badaczem w dziedzinie/ach.
4. Bardzo dobry. Dorobek naukowy i osiągnięcia badawcze są bardzo dobre i cieszą się uznaniem na arenie międzynarodowej ze względu na jakość i wkład w naukę, dorobek publikacyjny i pozostałą aktywność naukową. Kierownik projektu jest szeroko rozpoznawalny na arenie międzynarodowej w dziedzinie.
3. Dobry. Dorobek naukowy i osiągnięcia badawcze są dobre, ale mają ograniczoną międzynarodową rozpoznawalność ze względu na jakość i wkład w naukę, dorobek publikacyjny i pozostałą aktywność naukową. Kierownik projektu jest rozpoznawalny na arenie międzynarodowej w dziedzinie w ograniczonym zakresie.
2. Przeciętny. Dorobek naukowy i osiągnięcia badawcze są przeciętne i mają ograniczoną rozpoznawalność w dziedzinie ze względu na jakość i wkład w naukę, dorobek publikacyjny i pozostałą aktywność naukową. Kierownik projektu jest rozpoznawalny w dziedzinie w ograniczonym zakresie.
1. Słaby. Dorobek naukowy i osiągnięcia badawcze są poniżej przeciętnej i nie są rozpoznawalne w dziedzinie ze względu na jakość i wkład w naukę, dorobek publikacyjny i pozostałą aktywność naukową. Kierownik projektu (kierownicy projektu) nie jest rozpoznawalny w dziedzinie.
0. Bardzo słaby. Kierownik projektu ma bardzo słaby dorobek naukowy lub w ogóle nie ma osiągnięć naukowych.
Jeśli oceny recenzentów dotyczące poziomu projektu i kompetencji wnioskodawcy są mocno rozstrzelone, to największy wpływ na decyzję panelu ma jego przewodniczący, czasem (w przypadkach spornych) posiłkując się głosowaniem. Wystarczy zatem, by jeden z dobieranych recenzentów był notorycznym malkontentem, aby zostawiać decyzję głównie w rękach przewodniczącego. A jak pisze swoje opinie recenzent malkontent? Na przykład stwierdza, że wniosek nie reprezentuje badań podstawowych. W obszarze nauk technicznych prawie zawsze można to stwierdzić bez specjalnego uzasadniania. Przez długi okres wnioskodawca projektów do NCN musiał sam uzasadniać fakt, że jego badania były naukami podstawowymi. Można sobie wyobrazić, jakie dyskusje mogły się w tym zakresie pojawiać. Od pewnego czasu NCN już tego nie wymaga, choć dalej recenzent ma taką rubrykę do wypełnienia. Poza tym recenzent malkontent używa w swoich ocenach pewnych zdań kluczy, np. „Projekt jest mało ambitny”. W ocenie projektu często zupełnie nie wchodzi w jego merytoryczną istotę, powtarzając zdania ze streszczenia projektu, aby następnie dać bardzo niską ocenę i napisać „projekt jest mało ambitny”. Gdy wnioskodawca dobrze udokumentuje tzw. reasearch gap, czyli lukę w badaniach w danym obszarze, to recenzent malkontent ma też i na to sposób. Mianowicie pisze: „ten temat jest tak mało atrakcyjny, że mało kto na świecie jest nim zainteresowany”. Recenzent malkontent, oceniając projekt spoza obszaru swoich kompetencji, unika wchodzenia w szczegóły, bo łatwo może się pomylić. Zdarza się to bardzo często. Jednak nie musi się tym specjalnie przejmować. W końcu regulaminy NCN tak są sformułowane, że kwestie merytoryczne recenzji nie podlegają ewentualnym odwołaniom. A jeśli już wnioskodawca się odwoła, to i tak zawsze można powiedzieć, że wspomniany wcześniej proces uzgodnień końcowych ocen służył ewentualnej korekcie tych błędów.
Jest jeszcze jeden kontrowersyjny element oceny NCN, dodatkowe punkty za już zrealizowane projekty. A co będzie, jeśli ktoś pisze pierwszy (od 10 lat) projekt? Wtedy w ocenie panelu ekspertów może pojawić się następująca ocena: „A certain weakness is the lack of experience in managing research projects financed under the NCN competitions and relatively little experience in managing grants financed under national competitions other than the NCN”. Wynika z tego, że wnioskodawca nie ma doświadczenia w projektach NCN, co skutkuje obniżeniem oceny aktualnego wniosku. Względem wniosków NCN może tu powstać błędne koło. Wnioskodawca nie dostanie finansowania z NCN tak długo, aż zdobędzie jakiś wniosek z NCN. Trudne do realizacji? Można to przerwać, składając najpierw wniosek do innej niż NCN agencji, najlepiej zagranicznej. Nic dziwnego, że niektóre osoby poprawiają już cztery miejsca po przecinku w swoich badaniach, otrzymując kolejne granty z NCN, a inni ciągle odpadają w drugim etapie oceny.
W ramach Panelu Nauk Technicznych (ST8) mamy do czynienia z bardzo zróżnicowanymi badaniami naukowymi. Typowe liczby cytowań i oceny bibliometryczne badaczy w tym panelu mogą różnić się o kilkaset lub nawet kilka tysięcy procent. Od chemii molekularnej i inżynierii materiałowej po czystość wód i betonowanie mrozoodporne. Od dłuższego czasu NCN zastrzega się we wszystkich regulaminach, że oceny bibliometryczne nie mogą stanowić podstawy oceny kompetencji badaczy. Co z tego jednak, jeśli zewnętrzni recenzenci bardzo często się tego nie trzymają? Spotkałem się na przykład z taką opinią w recenzji: „…jak to możliwe, aby wnioskodawca był na liście Stanford top 2% badaczy świata, skoro ma tak niski h-indeks?”. W efekcie umieszcza wnioskodawcę w grupie osób w ograniczonym stopniu rozpoznawalnych na świecie, przydzielając ocenę 2/5, a panel ekspertów w ramach procesu uzgodnień podnosi tą ocenę na 3/5.
We wspomnianym wcześniej regulaminie NCN, w przypisie na stronie 13, znajduje się zapis: „NCN zobowiązuje się do wdrażania zaleceń DORA oraz do niestosowania wskaźników bibliometrycznych, takich jak Journal Impact Factors, jako zastępczej miary jakości pojedynczych artykułów naukowych w ocenie osiągnięć pojedynczego badacza. W ocenie dorobku publikacyjnego eksperci i recenzenci powinni brać pod uwagę specyfikę ich dziedziny badawczej, jak również kulturę cytowań i praktyki publikacyjne charakterystyczne dla tej dziedziny. Ocena dotychczasowych osiągnięć powinna całościowo uwzględniać jakość, wkład w dziedzinę oraz wpływ publikacji”. Bardzo pięknie i mądrze zapisane. Niestety, jak widać, do zapisu tego nie stosują się ani recenzenci, ani tzw. koordynator dyscypliny, który powinien znajdować nierzetelności w recenzjach, ani nawet przewodniczący panelu oceniającego projekt. Z drugiej strony, jak można wymagać szczególnego wyczulenia, jeśli są to osoby spoza ocenianego obszaru badawczego? Zdaniem piszącego te słowa, „przyłapanie” recenzenta na odstępstwie od tych reguł w szerokotematycznym panelu nauk technicznych (ST8) powinno skutkować odrzuceniem tej recenzji i powołaniem nowego recenzenta. Jednak nawet komisja odwoławcza nie stosuje się do tych wytycznych i w takich wypadkach nie powołuje innego recenzenta. Decyzja komisji odwoławczej zachęca wnioskodawcę, aby udał się do sądu w celu przedyskutowania łamania wyżej cytowanego zapisu regulaminów NCN. Może dlatego punkt ten jest zapisany drobnym drukiem w przypisie do 13 strony Regulaminu NCN z 5 marca 2021?
A może po prostu większość badań z inżynierii lądowej jest na niskim poziomie? Może nie warto ich finansować? Może lepiej traktować je jedynie jako badania bezpośrednio wdrażane. Niech zainteresowani znajdą firmy, które będą finansowo uczestniczyć w tych badaniach i zgłoszą się do NCBR. Jest jednak wiele badań, które powinny być przeprowadzane w laboratoriach i których nie da się bezpośrednio komercjalizować. W innych krajach są one finansowane z funduszy badań podstawowych. Tak jest na przykład w Czechach. Piszący te słowa często jest w tym kraju recenzentem projektów badawczych, a nawet czynnie uczestniczy w parametryzacji jednostek naukowych jako przewodniczący panelu.
Ktoś może powiedzieć: Skąd wiadomo, że u nas jest tak źle? Czy dałoby się to sprawdzić? Wystarczyłoby na próbę poddać ocenie wnioski z drugiego etapu przez inną, zewnętrzną, zagraniczną firmę i sprawdzić, w jakim stopniu ustalona przez nią lista rankingowa różniłaby się od wygenerowanej przez panel ekspertów i recenzentów NCN.
Ktoś inny może powiedzieć, że jeśli sukces w panelu ST8 osiąga jeden na cztery wnioski, to nieuniknione jest, że trzy czwarte osób będzie sfrustrowanych. Czy można tu coś zmienić? Według mnie są dwa wyjścia z tej sytuacji.
Poprawienie transparentności procesu ocen poprzez możliwość reakcji wnioskodawcy w projektach typu OPUS lub PRELUDIUM na recenzje drugiego etapu (feedback) i dopiero wtedy dokonywanie uzgodnień ocen lub odrzucenia (ponowienia) recenzji w wypadku potwierdzenia, że były one nierzetelne. W przypadku poważniejszych różnic zdań między recenzentami, arbitrem mógłby być ten z nich, który przyznał „środkową” ocenę projektu. Zauważmy, że kierując artykuły do dobrych czasopism naukowych, zawsze mamy możliwość zareagowania na błędy lub nierzetelności w recenzjach, pisząc stosowny „rebuttal”. Na ogół bowiem edytor dobrego, światowego czasopisma jest osobą zaufania społecznego, która potrafi zareagować na błędy lub nieuczciwości recenzentów. NCN, jak do tej pory, takiej możliwości nie daje.
Drugi sposób to wyprowadzenie nauk technicznych (a być może także i medycznych), razem z odpowiednim strumieniem finasowania, do NCBR. W NCN pozostałyby prawdziwie czyste nauki, nieskażone komercją i „wątpliwym” poziomem badań. Wtedy to NCBR mogłoby zorganizować konkursy na badania, które nie wymagałyby natychmiastowej komercjalizacji, a NCN mogłoby pozostać ostoją tej prawdziwej nauki, pisanej przez duże N.
Na zakończenie, tytułem uzasadnienia przedstawionej krytycznej oceny procedur stosowanych przez NCN, można by podać rozmaite lapsusy i śmieszne miejsca z zaakceptowanych przez Centrum recenzji, np. taki, w którym recenzent za wadę projektu uznaje zbyt niskie honoraria, jakie ustalił sobie wnioskodawca, co nie gwarantuje należytego poziomu badań. Wiele oczywistych, a często śmiesznych błędów w recenzjach dotyczy spraw fachowych, na które szkoda miejsca w „Forum Akademickim”. Być może czytelnicy sami stworzą zbiór osobliwości związany z takimi recenzjami.
Prof. dr hab. inż. Zbigniew Zembaty, Wydział Budownictwa i Architektury Politechniki Opolskiej
