Tadeusz Dudycz
Źródło: doktoraty.pl
Niekwestionowany wpływ szkolnictwa wyższego na rozwój gospodarczy stał się impulsem do poszukiwań rozwiązań organizacyjnych, sposobu finansowania, systemów oceniania i systemu zachęt, które w ogólnym zarysie powinny zwiększyć produktywność uczelni. W wyniku tego, jak piszą Marc Edwards i Siddhartha Roy, system zachęt i struktura nagród uległy w ostatnim półwieczu dramatycznym zmianom. Znacznie upowszechniły się mierniki ilościowe osiągnięć kosztem jakościowych. Uczelnie amerykańskie, ale również z innych krajów, przekształciły się w centra zysku, produkujące patenty i inne naukowe produkty. Zaczęto mówić o przemyśle wiedzy. Ten kierunek zmian zaczął jednak wzbudzać obawy u wielu naukowców, gdyż rodzi wątpliwości, że utrudnia realizację podstawowej misji, jaką jest „służba społeczeństwu”. Pogoń za produktywnością zmieniła drastycznie klimat i swobodę twórczą naukowców. Peter Higgs, laureat nagrody Nobla za odkrycie bozonu nazwanego jego imieniem, w rozmowie z Guardianem powiedział, że przypuszcza, iż żaden uniwersytet nie zatrudniłby go w dzisiejszym systemie akademickim, ponieważ nie byłby uważany za wystarczająco „produktywnego”. Higgs po opublikowaniu w 1964 roku swojej przełomowej pracy opublikował mniej niż 10 artykułów. Komentując przemiany, jakie zaszły na uczelniach, powiedział: „Trudno sobie wyobrazić, że kiedykolwiek miałbym dość ciszy i spokoju w obecnym klimacie, żeby zrobić to, co zrobiłem w 1964 roku”.
Wzrost oczekiwań w zakresie produktywności naukowej uczonych zaowocował upowszechnieniem się na świecie ilościowych mierników efektywności, takich jak wskaźnik cytowań IF (impact factor), obliczany na podstawie danych z bazy Web od Science, czy CiteScore, obliczany na podstawie bazy Scopus. Obecność czasopisma w tych bazach jest już wyznacznikiem wysokiego poziomu naukowego, gdyż przed włączeniem do bazy poddawane są ostrej selekcji. Powyższe wskaźniki są dominującymi kryteriami przy wynagradzaniu, awansowaniu, nadawaniu stopni i finansowaniu. Są również podstawą oceny jakości uczelni. Popularność tych mierników ma swoje źródło we wzroście konkurencyjnych źródeł finansowania uczelni. I jakkolwiek ich popularność na świecie jest bardzo duża, to widoczna jest również narastająca krytyka oraz tendencje do pomniejszania ich znaczenia. Zdaniem krytyków, mierniki te są podatne na manipulacje, przez co mogą być mylące i przynosić efekty odmienne od zamierzonego. Są skoncentrowane na naukowcach i ich nagradzaniu, a to nie jest to samo, co osiągnięcie celu, jakim są społecznie istotne i wpływowe wyniki badań. Produkują „zajętych” naukowców publikujących krótsze i mniej treściwe artykuły. Nadmierne skupianie się na miernikach ilościowych sprzyja tworzeniu systemu, który jest „wypaczeniem doboru naturalnego”, gdyż odsiewa etycznych i altruistycznych aktorów, a sprzyja tym, którzy komfortowo czują się w systemie przewrotnych zachęt. W związku z dostrzeganiem słabości mierników ilościowych 2559 organizacji i 19 250 osób (wg stanu na dzień 06.06.2022) podpisało deklarację DORA (San Francisco Declaration of Research Assessment), w której sygnatariusze, widząc potrzebę poprawy „sposobów oceny wyników badań naukowych”, wzywają do kwestionowania praktyki wykorzystywania mierników, szczególnie IF. Wydawcy „Nature” i innych czasopism wzywają do bagatelizowania IF, a Amerykańskie Towarzystwo Mikrobiologiczne ogłasza plan usunięcia go ze wszystkich swoich czasopism. W wywiadzie dla „Nature” Claude Canizares, wiceprezes ds. badań w Massachusetts Institute of Technology w Cambridge, powiedział: „Przywiązujemy bardzo małą wagę, prawie zero, do wskaźników cytowań i liczby publikacji”. Nie negował jednak całkowicie ich użyteczności w ocenie naukowców.
Także w Polsce rola mierników ilościowych, szczególnie IF i CiteScore, istotnie wzrosła w ostatnich latach. Wprowadzona przez minister Barbarę Kudrycką punktacja czasopism miała na celu wartościowanie publikacji naukowych w zależności od sposobu i miejsca publikacji. W związku z tym, że najwyżej punktowane były czasopisma posiadające IF, a więc najczęściej angielskojęzyczne czasopisma zagraniczne, stało się to silnym bodźcem do podniesienia poziomu i umiędzynarodowienia publikacji naukowych. W dyscyplinach ekonomicznych, które wcześniej publikowały głównie w języku polskim, wywarło to niezaprzeczalnie pozytywny wpływ na umiędzynarodowienie i jakość badań. Jednak od samego początku przydzielanie punktów za konkretne publikacje rodziło kontrowersje, np. 15 pkt można było dostać zarówno za artykuł w materiałach konferencyjnych, jak i w czasopismach z IF. Wprowadzona punktacja czasopism opierała się na innych kontrowersyjnych miarach i nie była to zależność deterministyczna. Czyli kontrowersyjne miary IF i CiteScore w kontrowersyjny sposób transponowano na punkty, potęgując kontrowersje, a nawet czyniąc z punktów miary całkowicie oderwane od jakości naukowej publikacji.
Kolejne edycje listy czasopism punktowanych pogłębiały te kontrowersje, ale ostatnia reforma i wprowadzone zasady punktacji doprowadziły ją do absurdu. Powołana z wielkim rozmachem Komisja Ewaluacji Nauki w pierwszym etapie przydzielała punkty na podstawie algorytmu wykorzystującego dwa wskaźniki bibliometryczne (CiteScore i IF), a następnie zespoły doradcze proponowały korekty. Już w pierwszym etapie zespoły doradcze zaproponowały 7917 zmian, a Komisja zaakceptowała 85%, co na samym wstępie oderwało punkty od wskaźników bibliometrycznych. Rozpoczął się proces lobbowania poszczególnych środowisk za podwyższeniem punktów lub wprowadzeniem na listę czasopism popularnych w środowisku, bez względu na ich jakość czy wskaźniki bibliometryczne. W efekcie doszło do ośmieszających punktację przykładów: np. za artykuł w czasopiśmie „European Research Studies Journal” można dostać 100 pkt w sześciostopniowej punktacji od 20 do 200, mimo że czasopismo zostało w 2018 roku usunięte z bazy Scopus ze względu na zastrzeżenia do procesu publikacyjnego (ostatni SciteScore w 2017), a w bazie Web of Science nigdy nie było indeksowane. Podobnie za opublikowanie komunikatu w materiałach konferencyjnych IBIMA (bez IF i SciteScore) można dostać 70 pkt. Zdumiewające jest jednak to, że mimo, iż tego typu przykłady, ewidentnie podważające sens punktacji, które spotkały się z publiczną krytyką (np. Marka Wrońskiego, który podaje więcej równie drastycznych przykładów, czy Edwarda Radosińskiego), Komisja Ewaluacji Nauki ich nie skorygowała, chociaż lista była wielokrotnie aktualizowana.
Powyższe przykłady należą do drastycznych, ale na liście znajduje się wiele może mniej drastycznych, lecz przez swoją powszechność czyniących punkty nieużyteczną miarą jakości publikacji. Na przykład trudno znaleźć racjonalne wytłumaczenie, dlaczego dwa czasopisma tego samego wydawcy (Taylor & Francis), klasyfikowane w tej samej dyscyplinie – „Baltic Journal of Economics” i „Journal of Baltic Studies” – mają tak różną liczbę punktów i to odwrotnie do wartości wskaźników bibliometrycznych. „Journal of Baltic Studies” ma 100 pkt przy IF 0,447 i CiteScor 0,9, a „Baltic Journal of Economics” tylko 40 pkt mimo dużo wyższego IF (2,150) i CiteScor (2,4). Wprowadzenie punktacji sugeruje odległość, jaka dzieli oba czasopisma w jakości publikacji. Autor publikujący w „Baltic Journal of Economics” musi opublikować 2,5 artykułu, aby dorównać autorowi publikującemu w „Journal of Baltic Studies” w rankingach czy ocenach jego dorobku. I nie są to najbardziej drastyczne przykłady.
Dodajmy do tego wprowadzone ustawą sloty, czyli dzielenie punktów, pierwiastkowanie udziałów w publikacjach itd., co przewodniczący Rady Doskonałości Naukowej, prof. Grzegorz Węgrzyn nazywa kolejnym poziomem absurdu, a fakt, że w okresie ewaluacji uczelni wprowadzono dwie skale punktacji, czyli artykuły w tym samym czasopiśmie, ale opublikowane w 2018, mają mniej punktów niż opublikowane w 2019, nazywa największym kuriozum, którego nie ma ochoty komentować. Nasuwa to tylko skojarzenie z zasadą informatyczną, która mówi, że jeżeli śmieci wejdą, to śmieci wyjdą. Ma to kolosalne znaczenie. Punkty zdobyte przez naukowca mają wpływ na jego ocenę, dostęp do finansowania itp., ale także na ocenę uczelni. Uczelnie, walcząc o punkty, zachęcają i wywierają presję na pracownikach na ich zdobywanie. Także w skali makro przynosi to negatywne skutki dla społeczeństwa. Zły system oceny jakości badań ogniskuje aktywność naukowców wokół mierzonych rezultatów zgodnie z zasadą „what gets measured, gets done” ze szkodą dla nauki i efektywności wydanych na nią funduszy. Doświadczenia ostatnich lat pokazały ogromną skłonność naukowców do przystosowywania się do implementowanych systemów miar. Po opublikowaniu w 2019 r. listy czasopism punktowanych nastąpiła eksplozja publikacji polskich autorów w materiałach konferencyjnych IBIMA (2127 artykułów), co kosztowało, wg szacunków prof. Edwarda Radosińskiego, około 2,5 mln zł i przyniosło niemal 150 tys. punktów. W „European Research Studies Journal”, po przyznaniu mu 100 pkt., publikacje polskich autorów, wg szacunków Marka Wrońskiego, stanowią powyżej 90%. „Energies” (wydawca MDPI), ze względu na dużą liczbę punktów (140 przy IF 3,00) oraz relatywną łatwość publikowania, stało się wiodącym czasopismem polskiej ekonomii, mimo iż ani w Web of Science, ani w Scopusie nie jest klasyfikowane w naukach ekonomicznych. Oznacza to, że prawo Goodharta, mówiące, że jeżeli miara staje się celem, przestaje być dobrą miarą, zadziałało z brutalną siłą.
Mimo tak wielu zastrzeżeń i kontrowersji, punktacja czasopism przeniknęła do uczelni i stała się częścią systemów motywacyjnych i kryteriów oceny pracowników. Pouczające i zdumiewające jest, jak szybko i bezrefleksyjnie uczelnie włączyły punktację do swoich systemów oceny, nagradzania i motywowania pracowników, ustalając np. minimalne limity punktów do zdobycia czy tworząc systemy nagród. Punkty zagościły także w języku akademickim, będąc obiektem licytacji i dumy w dyskusji, kto i za ile punktów publikuje. Przykład punktacji pokazuje, jakie zagrożenie tworzy biurokratyczno-parametryczne zarządzanie nauką, w którym zastosowanie przewrotnego parametru kieruje aktywność na niewłaściwe tory, przynosząc efekty odmienne od zamierzonych, a nawet mające znamiona naukowej korupcji. Popycha naukowców do publikowania tandetnych i niepowtarzalnych badań naukowych przy wysokich kosztach finansowych dla społeczeństwa, podkopując zaufanie do nauki i naukowców. Pierwsi ulegną ci, którzy komfortowo czują się w systemie przewrotnych zachęt, ale przy silnych zachętach ulegną również etyczni, zgodnie z modelem progowych zachowań zbiorowych Granovettera.
Jak widzimy, powszechnie stosowane na świecie, ale z coraz większą rezerwą i świadomością wad, wskaźniki cytowań zostały u nas przetransponowane w mało przejrzysty i mocno kontrowersyjny sposób na punkty, czyniąc z nich instrumenty naukowej demoralizacji. Poszukiwanie najlepszych sposobów mierzenia jakości badań jest tendencją ogólnoświatową, jednak narodowe instytucje zarządzające nauką, bazując na własnych doświadczeniach, starają się doskonalić własne systemy oceny osiągnięć akademickich. Na przykład Australijska Rada ds. Badań Naukowych w ramach inicjatywy Excellence in Research for Australia w 2010 roku stworzyła listę 22 tys. akceptowalnych czasopism, które poklasyfikowała na cztery kategorie: A*, A, B, C. Jednak po otrzymaniu informacji zwrotnych usunęła rankingi, pozostawiając tylko listę, a Kim Carr, minister ds. innowacji, przemysłu, nauki i badań, stwierdził, że istnieją dowody na to, iż rankingi zostały użyte „niewłaściwie”, w sposób, który może przynieść „szkodliwe skutki”. W Polsce niepokojące jest to, że nie widać tendencji do usuwania błędnych rozwiązań, a wprost przeciwnie, wydaje się, że każda nowa zmiana pogłębia patologię punktacyjną czasopism naukowych.
Prof. dr hab. inż. Tadeusz Dudycz, Wydział Zarządzania, Politechnika Wrocławska
