logo
FA 4/2021 patologia punktozy

Grzegorz Racki, Aneta Drabek

Monografie – niekochane dziecko systemu parametryzacji

Rys. Sławomir Makal

Ograniczenie punktowania monografii polskich autorów do 728 wydawnictw jest poważną niekonsekwencją, chociaż w oczywisty sposób wymuszoną brakiem odpowiednich baz danych oraz danymi z uprzednich lat.

Ocenianie publikacji naukowych na podstawie wskaźników bibliometrycznych publikujących je czasopism i wydawnictw stało się akademickim standardem, oczywistym zwłaszcza dla młodego pokolenia. Na przełomie wieków budziło jednak – również na łamach „FA” – żywe emocje przy wprowadzaniu przez Komitet Badań Naukowych tego typu parametryzacji (https://forumakademickie.pl/fa-archiwum/archiwum/2001/09/artykuly/18-polemiki-jak_i_po_co_dyskutowac.htm). Co gorsza mówi się i pisze od pewnego czasu nawet o swoistej „punktozie”, co niektórzy przedstawiają jako alibi dla mizeroty swoich bieżących osiągnięć („chcę pracować naukowo, a muszę ciułać punkty!”). Dotyczy to w pierwszej kolejności humanistyczno-społecznego sektora nauki polskiej. Warto jednak zauważyć, iż ilościowe testowanie tego systemu oceny dorobku naukowego potwierdza jego racjonalność. Sprawdza się on mniej więcej na poziomie 90%, tzn. tyle artykułów zamieszczanych w wysoko ocenionych periodykach osiąga sukces w postaci ponadprzeciętnej liczby cytowań i vice versa (patrz https://www.researchgate.net/publication/24012689_Rank-normalized_journal_impact_factor_as_a_predictive_tool). A więc taka jakościowa predykcja, powiązana ze zróżnicowaniem dotowania publikacji, ma praktyczny sens. Ogólnie rzecz biorąc, odzwierciedla ona prawdopodobieństwo dostrzeżenia publikacji i wykorzystania prezentowanych wyników w zależności od miejsca ich upublicznienia. A to jest miara osiągnięć w dobie narastającego szumu informacyjnego i walki o widzialność w światowej społeczności naukowców.

Niniejszy tekst poświęcony jest tematyce oceny monografii naukowych, przede wszystkim w naukach przyrodniczych i ścisłych. Wprowadzanie systemu parametryzacji w 1998 r. odbyło się niejako na odpowiedzialność tej domeny nauki polskiej (jego inicjator, prof. Andrzej Kajetan Wróblewski z Uniwersytetu Warszawskiego, to fizyk). Nic dziwnego, bo reszta środowiska (przynajmniej w publikowanych wypowiedziach) ustosunkowała się w swej masie do tych rozwiązań niezbyt pozytywnie. Obstrukcja w pewnym stopniu trwa do dziś i skutkuje wciąż nierozwiązanym problemem, jakim – mimo wielu dyskusji, stanowisk, konkluzji z prac zespołów – jest ustawicznie zaniżone pozycjonowanie monografii naukowych w systemie ewaluacji jakości działalności naukowej (np. artykuł J.M. Brzezińskiego w „FA” 11/2011).

Co to jest monografia?

Nieporozumienie dotyczy samego pojęcia „monografia naukowa”, tzn. tego, iż nie są to tylko zespołowe publikacje, często jedynie sumujące wyniki konferencji, zgromadzone w mniej lub bardziej merytorycznie wartościową całość przez redaktora(ów) opracowania (dalej: monografie zbiorowe). Trzeba bowiem pamiętać o wyjątkowej randze często (jedno)autorskich syntez, stanowiących oryginalne podsumowanie stanu wiedzy w danej tematyce badawczej (dalej: monografie autorskie). Obfitują one na ogół we wnioski co do perspektyw danej specjalności, tak to przynajmniej wygląda w perspektywie historycznej. Pomijając walory dydaktyczne, wartość merytoryczna takiego opus magnum, stanowiącego ukoronowanie dorobku badacza, może być nieporównywalnie wyższa nawet w zestawieniu z ważnymi artykułami w najwyżej punktowanych periodykach.

Lekceważenie przez humanistów systemu parametrycznego owocowało w sposób oczywisty długotrwałym deprecjonowaniem monografii. Ustaliła się bowiem reguła, iż autorstwo monografii jest punktowo co najwyżej równoważne artykułowi w najwyższej klasie czasopism… I niewiele się zmieniło do dziś, mimo prac ministerialnego zespołu specjalistycznego do oceny czasopism naukowych na potrzeby przeprowadzenia kompleksowej oceny działalności naukowej lub badawczo-rozwojowej jednostek naukowych pod kierunkiem dr. hab. Emanuela Kulczyckiego (dalej: zespół Kulczyckiego), a więc przedstawiciela nauk społecznych.

Lista wydawnictw naukowych AD 2019

Problem w przygotowaniu wykazu wydawnictw zaczyna się już na samym początku. Okazuje się bowiem, że nie ma bazy, która rejestrowałaby wydawców z całego świata. W przypadku czasopism tę funkcję spełnia baza ISSN, natomiast wydawnictwa – pomimo nadawania własnego identyfikatora, czyli ISBN – nie mają podobnego rejestru. Dodatkowo wydawcy często nie stosują zawsze tej samej nazwy, ale ich różne warianty. Stąd nie da się szybko i łatwo stwierdzić, że pod kilkoma (często bardzo różnymi) nazwami kryje się ta sama oficyna – może ona używać bowiem kilka(naście) różnych ISBN-ów. Próba sporządzenia wykazu z konieczności musi się więc opierać (przynajmniej na początku) na czymś ograniczonym, ale już sprawdzonym, tak aby później móc modyfikować dodając (lub odejmując) kolejne pozycje do takiego zestawienia.

Do przygotowania pierwszej wersji listy wydawców przez zespół Kulczyckiego wykorzystano sześć różnych źródeł. Na początku przeanalizowane zostały dane o wydawcach monografii, rozdziałów i redakcji z opisów (tzw. zdarzeń ewaluacyjnych), które zostały zgłoszone przez polskie instytucje naukowe w ewaluacji za okres 2013-2016. Powstała w ten sposób baza wydawców licząca ponad 52 tys. różnych nazw. Skąd tak duża liczba? Wiele nazw wydawnictw zapisano w tak różny sposób, że powstała olbrzymia liczba wariantów (nawet 200 i więcej dla jednego wydawcy) obejmująca skróty, nazwy obcojęzyczne i przeróżne sposoby zapisu. Samo uporządkowanie tych danych zajęło kilka miesięcy. W efekcie uzyskano listę 3395 wydawców. Dopiero później wykaz skonfrontowany został z pięcioma źródłami wydawnictw naukowych. Były to trzy listy krajowe: Publication Forum (tzw. lista fińska), The Norwegian Register for Scientific Journals (tzw. lista norweska), Scholarly Publishers Indicators (tzw. lista hiszpańska) oraz dane z bazy Book Citation Index (część bazy Web of Science Core Collection) i Scopus (E. Kulczycki, Książkowe publikacje naukowe w europejskich systemach ewaluacji nauki, „Nauka”, nr 2, 2019, s. 39). Dane z tych źródeł zostały wykorzystane przede wszystkim do wyłonienia wydawnictw II poziomu – za 200 pkt.

Należy mocno podkreślić, iż aktualnie obowiązujący „Wykaz wydawnictw publikujących recenzowane monografie naukowe” z 29 września 2020 r. (https://www.gov.pl/web/edukacja-i-nauka/wykaz-wydawnictw-publikujacych-recenzowane-monografie-naukowe) bazuje co prawda na propozycjach zespołu Kulczyckiego, ale zmiany – zarówno w samym zestawie wydawnictw, jak i w zasadach punktacji – wprowadzał później Komitet Ewaluacji Naukowej (KEN; wcześniej Komitet Ewaluacji Jednostek Naukowych) oraz kolejni ministrowie. Problem różnorodności monografii jest dostrzeżony w obecnych zasadach ewaluacji przez dopuszczenie zwiększenia punktacji „wybitnych” monografii o 50% (z 200 do 300 pkt). Mimo wszystko jest to niedostateczne dowartościowanie. Postulujemy, by na wniosek ocenianej instytucji KEN mógł rozpatrywać wielokrotne zwiększenie punktacji w przypadku unikatowych dzieł wydanych przez renomowane domy wydawnicze.

Swoją drogą fakt uwzględnienia (prawie) wszystkich polskich instytucji naukowych, łącznie z Wyższą Szkołą Kultury Społecznej i Medialnej w Toruniu, raczej wyklucza możliwość dalszych odgórnych ingerencji.

Ile jest wydawnictw naukowych?

Oficjalny ministerialny wykaz wydawnictw publikujących recenzowane monografie naukowe obejmuje 728 wydawnictw: 692 wydawnictwa na poziomie I (80 pkt) i 36 wydawnictw na poziomie II (200 pkt). Można by naiwnie pomyśleć, iż w ten sposób wyczerpano zasób wydawnictw, w których publikują monografie polscy naukowcy. Jednakże według Wikipedii na rynku wydawniczym działa ponad dwa tysiące komercyjnych domów wydawniczych, nawet jeśli tylko oligopol pięciu koncernów (Elsevier, Springer, Wiley-Blackwell, Taylor & Francis, Sage) wydaje połowę publikacji. A do tego dochodzą – również nieregularnie publikujące – wydawnictwa szkół wyższych, towarzystw naukowych, instytutów branżowych itp., których liczbę można jedynie szacować na dziesiątki tysięcy (patrz wyżej).

W tej sytuacji ograniczenie punktowania monografii polskich autorów do 728 wydawnictw jest poważną niekonsekwencją, chociaż w oczywisty sposób wymuszoną brakiem odpowiednich baz danych oraz danymi z uprzednich lat. I łatwo dać na to dobitne egzemplifikacje, np. w dyscyplinie nauk o Ziemi i środowisku. W ministerialnym wykazie zabrakło wydawnictw, a zatem i prestiżowych serii północnoamerykańskich towarzystw naukowych: Geological Society of America, Mineralogical Society of America, Society for Sedimentary Geology, American Association of Petroleum Geologists, Society of Vertebrate Paleontology czy Canadian Association of Petroleum Geologists. Chyba jeszcze bardziej razi niewłączenie wielu uczelni przodujących w cenionym akademickim rankingu szanghajskim (http://www.shanghairanking.com/ARWU2020.html), w tym o tak wysokiej randze jak California Institute of Technology (8. pozycja), Paris-Saclay University (14), University College London (16), University of Pennsylvania (19), ETH Zurich (20) czy University of Copenhagen (33). A warto pamiętać, że najlepsze polskie uniwersytety nie przekraczają 300. pozycji na tej liście – bez fetyszyzacji tego faktu. A zatem polskie publikacje wydane przez te instytucje naukowe – nawet autorskie – w obecnym systemie są warte 5 pkt! Trudno jednak przypuszczać, iż ustępują one tak znacznie poziomem monografiom z lokalnych towarzystw naukowych czy diecezji, ujętym w ministerialnym zestawieniu.

Z innych kuriozów: 38 z 52 roczników z wydawnictwa „Annual Reviews” (https://www.annualreviews.org/) jest reprezentowanych w wykazie czasopism (z niewiadomych przyczyn selektywnie uwzględnionych w bazie Scopus), w większości z notą 200 pkt. A zatem w przypadku publikacji z pozostałych dyscyplin (m.in. Computer Science, Law and Social Science, Plant Biology, Political Science) te prestiżowe serie obszernych artykułów przeglądowych z definicji powinny być traktowane jako punkt wyjścia do maksymalnej punktacji (jako rozdziałów w monografiach). Takich przykładów przypadkowego uznania serii wydawniczych za czasopismo w światowych bazach danych jest oczywiście więcej.

Propozycja wnioskowania ocenianej instytucji o objęcie zwiększoną punktacją limitowanej liczby dodatkowych prac – z wydawnictw pominiętych w wykazie – jest, naszym zdaniem, jak najbardziej racjonalnym rozwiązaniem. Sęk w tym, iż w obecnym systemie ewaluacji jakości działalności naukowej dopuszczono tę możliwość wyłącznie dla dyscyplin humanistyczno-społecznych.

Monografie w naukach przyrodniczych i ścisłych

Co prawda rola monografii jest skrajnie różna w naukach humanistyczno-społecznych i pozostałych, ale ich podwójne uprzywilejowanie w tych pierwszych jest zupełnie nieuzasadnione. I dodatkowo to zróżnicowanie pogłębia. System punktacji wymusza bowiem, by pisać artykuły do nawet przeciętnych czasopism, zamiast męczyć się latami nad monografiami, podręcznikami itp.

Polscy naukowcy są z pewnością w stanie wydać znaczące monografie – tak autorskie, jak i zbiorowe – w wydawniczym mainstreamie z zakresu fizyki, chemii czy matematyki. Dotyczy to nie tylko międzynarodowych sukcesów. Niektóre dyscypliny mają wiodący aspekt regionalny, co przekłada się na potrzeby polskojęzycznych podręczników przy kształceniu specjalistów. I tak np. w dziedzinie geologii ukazała się właśnie nowoczesna monografia pt. Historia geologiczna Polski, efekt wielu lat pracy prof. Marka Narkiewicza. Ponieważ wydawcą jest Uniwersytet Warszawski, może ona być wyceniona w obowiązującym systemie ewaluacji na 80 pkt. A więc – po skorygowaniu przez ministra Czarnka – niewiele więcej niż za artykuł w „Biuletynie Stowarzyszenia Absolwentów i Przyjaciół Wydziału Prawa KUL”. Propozycja, by i w domenie nauk przyrodniczych i ścisłych było dopuszczane zwiększenie punktacji, ma na celu wyeliminowanie tej dyskryminacji.

Patologia „punktozy” a ocena ekspercka

Przy tylu ubolewających nad niedomaganiami systemu parametryzacji, najprostszym postulatem powinno być jego odrzucenie i powrót do ocen jakościowych przez zespoły eksperckie. Byłaby to recepta na niezmiennie powracające złote myśli w stylu „liczy się przecież treść, a nie punkty”. Ale jakoś nie słychać specjalnie głosów zwolenników takiego podejścia, tak jak i dwadzieścia lat temu malkontenci nie byli w stanie zaproponować konstruktywnej alternatywy. Lata doświadczeń, choćby w ramach kategoryzacji jednostek naukowych przez KBN, wykazały słabość systemu oceny panelowej i jego immamentną skłonność do wypaczania ocen. Co by złego nie powiedzieć, twarda ewaluacja dorobku oparta na wskaźnikach bibliometrycznych pośrednio oddaje – lepiej lub gorzej – jakość procesu recenzowania i proporcję odrzuconych submisji. Nic nie stoi jednak na przeszkodzie, by elementy oceny eksperckiej wprowadzić szerszym frontem do obecnej ewaluacji, ale i w tej sprawie nie można narzekać na nadmiar propozycji. W ogóle wiele kolektywnych ciał oceniających, czy to przy awansach naukowych i ocenach okresowych, czy przy ewaluacji zespołowego dorobku, idzie na łatwiznę i ogranicza swą aktywność do sprawdzenia formalnej zgodności proponowanej punktacji z obowiązującym schematem ewaluacji. A do tego nie potrzeba przecież uczonych komisji – wystarczy sprawna sekretarka.

Reasumując, proponujemy, by przy ewaluacji jakości działalności naukowej w 2022 r. KEN miał możliwość – na uzasadniony wniosek ocenianej instytucji – (1) oceny eksperckiej w pełnym zakresie nauki dla wybitnych monografii w zakresie dopuszczającym trzykrotne podwyższenie punktacji (do 600 pkt). Podobna jakościowa ewaluacja powinna dotyczyć (2) wytypowanych przez instytucję określonej liczby monografii (lub rozdziałów w nich) niezamieszczonych w obowiązującym wykazie. Jako wspomagające rozwiązanie można wskazać (3) okresowe (np. coroczne) uzupełnianie listy wydawnictw przez KEN na podstawie bieżącego dorobku polskich badaczy. Nie powinno się uciekać od zasady, iż członkostwo w ciałach oceniających – jak szlachectwo – zobowiązuje do czegoś więcej niż konwencjonalne działanie. Systematyzacja dorobku naukowego jest jak dzielenie wody w rzece. Ze względu na różnorodność i ciągłą ewolucję wymyka się najbardziej drobiazgowej typologii.

Prof. dr hab. Grzegorz Racki, Wydział Nauk o Ziemi Uniwersytetu Śląskiego w Katowicach

Dr Aneta Drabek, starszy kustosz dyplomowany, Centrum Informacji Naukowej i Biblioteka Akademicka Uniwersytetu Śląskiego w Katowicach

Wróć