Grzegorz Węgrzyn
Fot. Stefan Ciechan
W świetle ostatnich artykułów dotyczących problemów z publikowaniem prac naukowych, w tym w „drapieżnych czasopismach”, oraz ewaluacji jednostek naukowych chciałbym spojrzeć na ten problem z nieco innej strony. Przede wszystkim w całej tej dyskusji o publikowaniu prac naukowych gdzieś umyka problem jakości badań. Skupiają się one na tym, gdzie i za jaką kwotę autorzy publikują, nie zaś na tym, co publikują. Oczywiście jest to pokłosie choroby, zwanej punktozą, która dręczy naszą naukę od dłuższego już czasu. Mimo głębokiej krytyki rozwija się ona dalej, a w obecnym systemie ewaluacyjnym osiągnęła kolejny poziom absurdu po wprowadzeniu „slotów”, dzieleniu punktów, pierwiastkowaniu udziałów w publikacjach itd. Powstał system tak skomplikowany, że wyniki ewaluacji mogą nas naprawdę niebywale zaskoczyć. Jego bezwładność jest tak ogromna, że prawdopodobieństwo uzyskania zarówno przypadkowo wysokiej, jak i przypadkowo niskiej kategorii jest naprawdę duże. A jeśli tak, to konsekwencje będą istotne nie tylko dla wysokości subwencji dla poszczególnych uczelni i instytutów, ale także dla procedur nadawania stopni naukowych, gdyż odpowiednie uprawnienia będą zależały bezpośrednio i jedynie od uzyskanej kategorii.
Na samym początku wprowadzenia tzw. oceny parametrycznej odegrała ona pozytywną rolę, gdyż skłoniła wielu polskich naukowców do publikowania w czasopismach o szerokim, międzynarodowym zasięgu, zamiast umieszczania swoich – często bardzo wartościowych merytorycznie – publikacji w lokalnych wydawnictwach, w wyniku czego prawie nikt ich nie czytał. Niemniej jednak system punktowy przerodził się z czasem w chorobę, którą wszyscy znamy, a która w najbardziej jaskrawej postaci polega na ocenie osiągnieć naukowych tylko na podstawie punktów, bez zwracania uwagi na wartość merytoryczną publikacji.
W tym świetle trudno się dziwić swoistej pogoni za punktami, gdyż ewaluacja jest oparta na zasadach, które na rektorach, dziekanach, dyrektorach instytutów itd. wymuszają „dbanie o punkty”. Ci oczywiście rozliczają w ten sposób działalność naukową poszczególnych pracowników (bo co innego mogą zrobić, aby nie ryzykować niskiej kategorii?). Dochodzimy tu do pytania: gdzie powinno się publikować. Zdziwiło mnie zaskoczenie, że przynajmniej niektórzy naukowcy publikują w znajdujących się na liście ministerialnej czasopismach o stosunkowo wysokich wartościach punktowych, mimo że często za opublikowanie jednego artykułu trzeba zapłacić kilka albo kilkanaście tysięcy złotych.
Moje zdziwienie wzmaga też fakt, że jednocześnie powszechną aprobatę, a wręcz zachwyt, wzbudza idea publikowania w tzw. otwartym dostępie. Wielokrotnie w różnych dyskusjach wskazywałem, że ten typ publikowania z jednej strony jest jak najbardziej szczytny i daje każdemu pełny dostęp do wyników badań wykonanych w większości za publiczne pieniądze, ale z drugiej strony jest kosztowny i te koszty pokrywają uczelnie i instytuty – inaczej się nie da, gdyż żadne wydawnictwo nie będzie publikować bez opłat, jeśli artykuły czy książki mają być dostępne bezpłatnie dla każdego (a nie na zasadzie subskrypcji, która wcześniej była podstawą finansowej działalności wydawnictw). Koszty, o których mowa, są duże, średnio około 8-12 tysięcy złotych za opublikowanie jednego artykułu. Co więcej, istnieje nie tylko wiele kampanii promujących publikowanie w otwartym dostępie, ale wręcz niektóre instytucje – np. Narodowe Centrum Nauki – zaczęły wymagać publikowania w tym trybie wyników finansowanych przez nie badań. Nie oceniam, czy to dobrze, czy źle; takie są po prostu fakty.
Powtórzę: chcąc publikować w otwartym dostępie, musimy ponosić wysokie koszty takiego przedsięwzięcia, niezależnie od tego, czy to będzie czasopismo „Nature Communications”, „Scientific Reports” czy jakiekolwiek inne (np. „Tanganica Journal of Irreproducible Results” – nazwa nieistniejącego czasopisma, wymyślona przez śp. prof. Piotra Cegłowskiego jako przykład niskiej jakości periodyku) – taki jest rachunek ekonomiczny. Jeśli zamierzamy silnie promować publikowanie w otwartym dostępnie albo wręcz żądać tego, a jednocześnie wymagamy od każdego naukowca średnio jednego slotu publikacyjnego na rok, to przyjmując z grubsza (na podstawie raportów GUS), że w Polsce mamy około 100 tysięcy nauczycieli akademickich, a średni koszt opublikowania jednego artykułu w otwartym dostępie to 10 tysięcy zł, musimy się przygotować na wydatek rzędu 1 miliarda zł rocznie ze środków publicznych na opłaty publikacyjne, niezależnie od tego jakie wydawnictwa będą beneficjentami tych opłat. Pamiętamy, że w pracach wieloautorskich sloty dzielone są przez liczbę autorów z danej jednostki, da to taki sam wynik, gdyż każdy pracownik powinien opublikować średnio rocznie jeden artykuł jednoautorski albo dwa artykuły dwuautorskie, albo cztery artykuły, w których jest czterech autorów z danej instytucji itd.
Rozgorzała dyskusja na temat tzw. drapieżnych czasopism, czyli takich, które publikują artykuły bez odpowiedniej oceny merytorycznej, pobierając przy tym opłaty równie wysokie, jak czasopisma dbające o wysoki poziom naukowy. Wszyscy wiemy, że takie czasopisma i całe wydawnictwa istnieją. Jest też rzeczą jasną, że nie powinny się one znajdować na jakiejkolwiek poważanej liście czasopism, od Web of Science – Journal Citation Reports do listy ministerialnej. Nie mam podstaw, by nie ufać, że komisje przygotowujące listę ministerialną dołożyły wszelkich starań, aby umieścić na niej odpowiednie czasopisma i z odpowiednią punktacją, choć zawsze będą różne opinie na temat tego, ile punktów należałoby przypisać poszczególnym tytułom periodyków, skoro nie ma obecnie (tak jak przy poprzednich systemach ewaluacji) jasnego i prostego (co nie oznacza, że najlepszego) kryterium.
Ostatnio przewija się wątek różnych czasopism, m.in. pojawiło się wydawnictwo MDPI jako przykład „wydawnictwa drapieżnego”. Chciałbym zwrócić uwagę na konieczność zachowywania ostrożności w forowaniu takich ocen. Spójrzmy na MDPI jako przykładowe wydawnictwo. Na liście ministerialnej znajduje się wiele czasopism tego wydawnictwa, niektóre z nich mają stosunkowo wysoką punktację, co oczywiście zachęca autorów do publikowania w nich swoich prac. Muszę powiedzieć, że znam kilkanaście czasopism wydawanych przez MDPI w zakresie nauk biologicznych i medycznych, zarówno jako recenzent, jak i autor, a także redaktor gościnny (na zaproszenie redaktora naczelnego czasopisma). Według mojego doświadczenia proces redakcyjny i wymagania merytoryczne nie są tam wcale niskie, a wiele prac jest odrzucanych z powodów niewystarczającej jakości naukowej. Nie są to może wymagania na poziomie czołowych czasopism przyjmujących poniżej 10% nadsyłanych manuskryptów, ale jednak podobne, jak w wielu innych, powszechnie szanowanych wydawnictwach i czasopismach. Co więcej, w tych czasopismach publikują także uznane autorytety naukowe z całego świata.
Oczywiście mogę się wypowiadać tylko na temat czasopism, które znam, a nie innych, w szczególności z zakresu innych dyscyplin naukowych niż reprezentowana przeze mnie. Zachęcam jednak do powstrzymywania się od wygłaszania ogólnych twierdzeń na podstawie być może faktycznych obserwacji i nawet słusznych zarzutów do metod stosowanych w jednym konkretnym czasopiśmie albo w przypadku pojedynczych artykułów czy numerów specjalnych jakiegoś czasopisma. Zdecydowanie odradzam rozszerzanie wniosków na wiele innych periodyków. Uważam, że tego typu wnioski, wyciągane pochopnie i bez szczegółowej analizy, są po prostu nieuprawnione.
I tutaj dochodzimy do sedna sprawy. W różnych dyskusjach zastanawiamy się ciągle, gdzie dany artykuł został opublikowany, a zupełnie pomijamy wartość naukową danej pracy. Nie powiem niczego odkrywczego, jeśli stwierdzę, że niektóre niezwykle wartościowe artykuły można znaleźć w stosunkowo nisko notowanych (przynajmniej na listach ministerialnych bądź JCR) czasopismach, a przeglądając wysoko notowane periodyki, można się natknąć na prace zupełnie przeciętne. Dlaczego zatem tak bardzo staramy się, kolokwialnie mówiąc, iść na łatwiznę przy ocenie osiągnięć naukowych i liczyć tylko punkty? Podam dwa przykłady, że jednak można oceniać inaczej.
Przykład pierwszy: wychodząc naprzeciw ewaluacji opartej na opiniach ekspertów, w Radzie Doskonałości Naukowej przy rozpatrywaniu wniosków o nadanie tytułów naukowych za podstawę brane są wyłącznie opinie ekspertów na temat wartości naukowej osiągnięć kandydatów, natomiast dane bibliometryczne, jeśli w ogóle są omawiane, to jedynie jako materiał pomocniczy, w żaden sposób niemogący decydować o poparciu albo odrzuceniu danego wniosku.
Przykład drugi: rozmawiałem niedawno z osobą, która uczestniczyła w ewaluacji jednostek naukowych w Wielkiej Brytanii. Opowiadała ona, że w tamtym systemie oceniana jednostka może przedstawić niewielką liczbę wybranych, uznanych przez nią samą za najlepsze publikacji w danej dyscyplinie (liczba takich publikacji była rzędu kilkunastu za ostatnich pięć lat w danej dyscyplinie w skali jednej uczelni, w zależności od liczby zatrudnionych naukowców). Komisje oceniające miały za zadanie zapoznać się z tymi publikacjami i ocenić, co istotnego i na jakim poziomie wniosły one do nauki. Całkowicie zabronione było przy tym używanie jakichkolwiek danych bibliometrycznych, a nawet nie wolno było mówić, w jakich czasopismach opublikowane były te prace – omawiane były tylko i wyłącznie merytoryczne aspekty ocenianych prac naukowych.
Czy to nie jest najlepszy z możliwych systemów? Czy zamiast krytykować opublikowanie artykułu w czasopiśmie wydawanym przez – powiedzmy MDPI – albo zachwycać się tym, że ktoś opublikował artykuł w innym, wysoko punktowanym czasopiśmie, nie powinniśmy zapoznać się z treścią danej pracy i dopiero to oceniać? A wtedy możemy dyskutować, czy jest on przełomowy dla danej dyscypliny naukowej, czy nic istotnego do niej nie wnosi. Oczywiście słabego naukowo artykułu nie opublikuje żadne szanujące się czasopismo, a przede wszystkim nikt w środowisku naukowym nie zwróci nań uwagi, zatem jego autor nie ma co liczyć na uznanie naukowców na świecie. Natomiast opierając się w ocenach jakości naukowej jedynie na lepiej czy gorzej przypisanych punktach (tym zresztą gorzej, im system jest bardziej skomplikowany, gdyż łatwiej wtedy o błędy bądź manipulacje), narażamy się na zwiększone prawdopodobieństwo dokonania niewłaściwej oceny.
Żebym nie był źle zrozumiany, nie namawiam do publikowania najlepszych prac byle gdzie. Publikowanie w najlepszych czasopismach ma tę niezwykle ważną zaletę, że poddajemy się ocenie najlepszych specjalistów na świecie i jeśli przejdziemy pozytywnie taką ewaluację, to możemy liczyć na duże uznanie w środowisku naukowym. Zatem zdecydowanie warto się starać o publikowanie w czasopismach najbardziej cenionych w danych dyscyplinach. Tylko wtedy możemy liczyć na naprawdę wysoką pozycję w środowisku naukowym. Mam natomiast ogromne obawy co do tego, że obecny system ewaluacji jednostek naukowych w Polsce absolutnie nie służy powstawaniu takich publikacji. Presja ukierunkowana jest na to, aby w jednostkach mieć wielu „średniaków” (wyrabiających sloty i ciułających punkty) zamiast paru naukowców należących do światowej czołówki, którzy obecnie i tak w niewielkim stopniu wpływają na ocenę danej uczelni czy instytutu. Niedocenianie wartości naprawdę przełomowych prac kosztem kalkulowania punktów i slotów, limitowanie liczby osiągnięć możliwych do przedstawienia przez jednego naukowca oraz stosowanie nadmiernie skomplikowanych algorytmów niby ewaluujących wartość prac naukowych może tylko hamować rozwój nauki.
Na koniec pewne skojarzenie: spróbujmy porównać zespół naukowców pracujących w danej jednostce naukowej i w danej dyscyplinie do drużyny piłkarskiej. W obecnym systemie oceny, pozwalającym każdemu naukowcowi przedstawić cztery sloty publikacyjnie za podlegający ocenie okres, jest tak jakby każdy zawodnik w drużynie piłkarskiej miał możliwość i obowiązek strzelić cztery gole w sezonie, niezależnie od tego, czy jest napastnikiem, obrońcą, czy bramkarzem. W takiej sytuacji posiadanie w zespole na przykład Roberta Lewandowskiego niespecjalnie by się opłacało, bo i tak mógłby on strzelić w sezonie tylko cztery bramki, a każda następna by się nie liczyła. Czy taki zawodnik nie wolałby grać w innej lidze (w innym państwie), gdzie byłby znacznie bardziej doceniony? A tak niestety działa obecny system ewaluacji nauki w naszym kraju. Zadaję sobie pytanie, czy tak trudno zrozumieć, że aby zbudować silne naukowo jednostki akademickie, potrzeba zarówno liderów naukowych (napastników strzelających bramki), pracowników tworzących jakże ważne otoczenie naukowe (pomocników), jak też osób bardziej zaangażowanych w kształcenie na wysokim poziomie, które będą przyciągać najzdolniejszych młodych pasjonatów nauki i nie dopuszczać do tworzenia się luki pokoleniowej (obrońców), a wreszcie osób bardziej zaangażowanych w organizację i popularyzację nauki, stojących na straży harmonijnego rozwoju danej jednostki (bramkarzy)? Silnej drużyny nie stworzymy, mając samych napastników ani samych bramkarzy, ani tym bardziej samych zawodników-średniaków, z których każdy może grać na dowolnej pozycji, ale na żadnej niezbyt dobrze.
I jeszcze jedno, bodaj największe kuriozum obecnego systemu ewaluacji: dwie skale punktowe (odpowiednio do 50 pkt i do 200 pkt) za artykuły opublikowane w latach 2017-2018 i 2019-2021. To tak jakby gole strzelone w pierwszej połowie meczu liczyły się za 1 pkt, a gole strzelone w drugiej połowie za 4 pkt, a na dodatek drużyny dowiedziały się o tym podczas trwania meczu (ustawa weszła w życie w lipcu 2018 r.). Tego bezsensu nie będę już nawet komentować, dodam tylko, że Rada Doskonałości Naukowej postuluje dokonanie odpowiedniej zmiany w ustawie (wyrównania skali punktowej za cały oceniany okres), mając nadzieję, że będzie to skuteczne wdrożone.
Prof. dr hab. Grzegorz Węgrzyn, przewodniczący Rady Doskonałości Naukowej
