Edward Radosiński
Fot. Stefan Ciechan
Problem punktozy nasilił się odkąd w życie weszła Ustawa 2.0. Nowe uregulowania dotyczące ewaluacji dyscyplin spowodowały, że już wcześniej krytykowany system punktowy ujawnił swoje wady ze szczególnym nasileniem. Do najdotkliwszych z nich należą: przymus ustawicznego publikowania przez pracownika, nawet wtedy gdy aktualny stan zaawansowania badań nie daje ku temu podstaw, lobbing i korupcja związane z agresywną działalnością tzw. hakerów nauki, a wreszcie negatywny wpływ punktozy na morale młodych pracowników, którzy dochodzą do wniosków, że nie ma sensu prowadzenie porządnych, a więc z konieczności wieloletnich prac badawczych. Wystarczy dwa tysiące dolarów, do tego dołączyć „literature review” i efekt punktowy ten sam.
Trudno wskazać zalety systemu punktowego, gdyż autorzy tej koncepcji gdzieś zniknęli. Nikt nawet nie próbuje, choćby w trakcie dyskusji prowadzonej m.in. na łamach „Forum Akademickiego”, bronić tego pomysłu. Moim zdaniem jedyna jego zaleta jest taka, że ułatwia on pracę osobom zarządzającym polską nauką i to na każdym szczeblu. Wystarcza jedno kliknięcie myszką, aby na ekranie komputera pojawiły się dane świadczące o tym, że uczelnia A (8 tys. pkt) jest gorsza od uczelni B (10 tys. pkt), a z kolei uczelnia B do pięt nie dorasta uczelni C, która tych punktów naściboliła 100 tys. W ten sam prosty sposób, korzystając z komputerowego systemu ewaluacyjnego, można klasyfikować wydziały, katedry, poszczególnych pracowników naukowych. Wniosek z tego taki, że hierarchowie życia akademickiego nie oddadzą łatwo wygodnego narzędzia ewaluacji.
W działaniach ewaluacyjnych wymagana jest ocena wielokryterialna, także jakościowa. Ale, jak piszę w swoim artykule pt. Uczelnie w czasie punktozy (FA 5/2021), „moc dorobku punktowego jest zwykle bezkonkurencyjna. Jednoznaczne kryterium ilościowe zawsze zdominuje rozmyte kryteria jakościowe, zwłaszcza gdy czasu jest mało, gonią inne sprawy na mieście, a podmiotów do oceny dużo. Także decyzja wydana na podstawie kryterium ilościowego zwykle się obroni w przypadku wszelkich odwołań, reklamacji, a nawet sporów sądowych”. W dalszej części artykułu przyjrzymy się, jak system punktowy, ze wszelkimi jego wadami i praktycznie brakiem zalet, wpłynie na zbliżającą się ewaluację jednostek.
Zasady ewaluacji nauki za pomocą systemu punktowego mają swoje umocowanie ustawowe: Prawo o szkolnictwie wyższym i nauce z dn. 20 lipca 2108 r., dział 6. Ewaluacja jakości kształcenia, ewaluacja szkół doktorskich i ewaluacja jakości działalności naukowej, rozdz. 3. Ewaluacja jakości działalności naukowej. Przypomnijmy, że zgodnie z ustawą ewaluacja dyscypliny następuje na podstawie osiągnięć wymienionych w art. 265, a w szczególności w ust. 6. Ten akt prawny usankcjonował metodę punktową przy ocenie osiągnięć polegającą na tym, że (art. 265 ust. 10) „Wydawnictwom, czasopismom i materiałom z konferencji, (…), przypisuje się punkty będące miarą ich renomy”. I dalej zgodnie z art. 267 ust. 2 minister właściwy do spraw szkolnictwa wyższego i nauki określa zasady sporządzania wykazu wydawnictw, czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych oraz sposób ustalania i przypisywania im liczby punktów, mając na uwadze uznaną renomę czasopism i materiałów z konferencji.
Ustawa powołała Komisję Ewaluacji Nauki, w skrócie KEN (art. 271 ust. 1), w celu permanentnego nadzoru nad poprawnością wszelkich działań związanych z ewaluacją nauki. Do zadań KEN należy przede wszystkim: przeprowadzanie ewaluacji działalności naukowej, przygotowywanie projektów wykazów czasopism i konferencji wraz z przypisaniem im odpowiedniej wyceny punktowej, a także sporządzanie analiz w zakresie ewaluacji działalności naukowej.
Od momentu opublikowania wykazu, o którym mowa w art. 267, polski system punktowy stał się obiektem zmasowanego, bezwzględnego ataku hakerów nauki z całego świata. Błyskawicznie zorientowali się, że wprowadzona Ustawą 2.0 ewaluacja punktowa daje niepowtarzalną możliwość wyssania z budżetu polskiej nauki gigantycznych pieniędzy.
Hakerzy nauki to grupa osób powołująca predatory / fake journal, a następnie poprzez odpowiednie zabiegi (lobbing, korupcja) doprowadzająca do umieszczenia wydawnictwa w ministerialnym wykazie czasopism z odpowiednio wysoką punktacją. Za predatory journals można uznać „czasopisma, w których publikowane prace naukowe nie podlegają ocenie eksperckiej lub wykonana jest ona w oparciu o bardzo niskie standardy. Czasopisma te mają charakter wydawnictw publikujących w tzw. otwartym dostępie (open access), często oferują swe usługi po wygórowanych cenach, z krótkim procesem publikacyjnym” (cytat z listu dyrektora Narodowego Centrum Nauki z 18.09.2018).
Nie bawmy się jednak w niuanse. Haker nauki opublikuje wszystko, co mu wyślesz, pod warunkiem, że do artykułu dołączysz dwa tysiące dolarów; zwrotnie otrzymasz zaświadczenie o bonusie w postaci odpowiedniej liczby punktów ewaluacyjnych. Do jednego z hakerów wysłałem anglojęzyczną wersję regulaminu studiów swojej macierzystej uczelni. Otrzymałem odpowiedź, że przyjęli wraz z gratulacjami za wysoki poziom naukowy – czekają na pieniądze.
Atak agresywnego biznesu wydawniczego po opublikowaniu wykazów spotkał się z zerowym oporem ze strony osób i instytucji ustawowo odpowiedzialnych za jakość i bezpieczeństwo nauki polskiej. W efekcie trwające od prawie dwóch lat bezkarne działania hakerów wewnątrz polskiego systemu punktowego spowodowały taką jego demolkę, że w praktyce, przynajmniej w niektórych dziedzinach (zarządzanie, ekonomia), system utracił kompletnie wiarygodność jako narzędzie ewaluacji dyscyplin.
Przyjrzyjmy się wpływowi hakerów na potencjalne wyniki ewaluacji na przykładzie konferencji IBIMA, którą firmuje International Business Information Management Association. Ta typowa fake konferencja organizowana jest przez Khalida S. Solimana nieposiadającego żadnych akademickich afiliacji, a wspierana przez egzotycznie wyglądający Komitet Programowy. Konferencja IBIMA została wydalona z listy CORE Rankings, a organizator IBIMA Publishing jest umieszczony na liście predatory publishers (List of Predatory Publishers | Stop Predatory Journals). Mimo to KEN dalej traktuje publikację na IBIM-ie jako dokonanie naukowe o uznanej renomie warte 70 pkt.
Jeżeli podczas zbliżającej się ewaluacji będziemy oceniać jednostki jedynie na podstawie aktywności publikacyjnej pracowników na IBIM-ie, to najlepszą uczelnią w Polsce jest Uniwersytet Ekonomiczny we Wrocławiu: 334 teksty, 23380 punktów, do kieszeni p. Solimana – zapewne coś około 110 tys. dolarów; dalej Politechnika Częstochowska: 269 tekstów, 18830 punktów, 90 tys. dol.; Uniwersytet Szczeciński 147 tekstów, 10290 pkt, 45 tys. dol. Oceniam, że z budżetu polskiej nauki na rachunek p. Solimana transferuje się kwoty rzędu 0.5 mln dol. rocznie.
Osobiście przy najbliższej ewaluacji stawiałbym jednak na Uniwersytet Szczeciński jako lidera w kategorii „ocena działalności naukowej”. Uczelnia ta zastosowała oryginalne podejście do oferty hakerów. Nie tylko z niej chętnie korzysta, lecz także co najmniej współpracuje z fake journal, jakim jest „European Research Studies Journal” (https://www.ersj.eu/issues), koszt publikacji 1600 euro, 100 punktów ewaluacyjnych! O związkach pomiędzy ścisłym kierownictwem Uniwersytetu Szczecińskiego, a greckimi założycielami ERSJ Marek Wroński pisał w FA 3/2021. To nieindeksowane przez Web of Science i usunięte ze Scopusa czasopismo (luty 2021, powód: publication concerns) zostało przez p. Jolantę Szczepaniak umieszczone w wykazie stanowiącym aneks do artykułu Potencjalnie drapieżne w wykazie czasopism (FA 4/2021). W spisie treści numerów specjalnych ERSJ wyraźnie dominują autorzy z Polski. Przykładowo ostatni numer ERSJ v. XXIV, nr 1 zawiera sto artykułów, w tym autorstwa polskich naukowców – 97. Tylko na tym jednym numerze organizatorzy przekrętu skasowali 200 tys. dolarów z budżetu polskiej nauki. Wydaje mi się, że KEN w ramach swoich funkcji nadzoru powinna tę sprawę zgłosić do prokuratury, w końcu za wyprowadzenie mniejszych sum zwykli ludzie idą do pudła na parę lat.
Kiedy zgłosiłem do ERSJ – oczywiście w ramach prowadzonego przeze mnie eksperymentu badawczego – chęć opublikowania artykułu, otrzymałem od wydawcy wzorzec poligraficzny w postaci artykułu The Problem of Bankruptcy in Listed Companies sygnowany przez Waldemara Tarczyńskiego, Małgorzatą Tarczyńską-Luniewską i Kingę Flagę-Gieruszyńską. Poza publikowaniem w ERSJ prof. Tarczyński pełni także funkcję rektora Uniwersytetu Szczecińskiego na kadencję 2020-2024.
Także na liście uczelni sponsorujących predatory publisher, jakim jest IBIMA, Uniwersytet Szczeciński zajmuje medalowe trzecie miejsce. A propos, interesująca obserwacja: ciekawy ludek z tych polskich naukowców. Zawsze, gdy badałem jakiś fake journal, zauważałem wyraźną nadreprezentację naszych rodaków. Przykładowo na IBIM-ie jesteśmy drudzy, za Rosją, a przed Rumunią.
Oryginalny sposób naganiania młodych pracowników nauki do publikowania na łamach ERSJ zastosował Uniwersytet Mikołaja Kopernika w Toruniu. Otóż za jeden artykuł umieszczony w ERSJ młody naukowiec otrzymuje stypendium naukowe z rąk rektora (https://portal.umk.pl/pl/article/nagrodzeni-za-publikacje). Także ta wiodąca uczelnia, wyróżniona jako uniwersytet badawczy, preferuje publikowanie swoich przełomowych dokonań na IBIM-ie – siódme miejsce na liście polskich uczelni najczęściej publikujących na IBIM-ie. Obserwując to wszystko, patron uczelni zapewne przewraca się w grobie.
Przy najbliższej ewaluacji nauki w prezentowanym do oceny spisie dokonań na pewno poczesne miejsce zajmą publikacje firmowane przez MDPI – MultiDisciplinary Publishing Institute. Ten chiński koncern specjalizuje się w wywieszaniu w sieci publikacji naukowych. MDPI prowadzi bardzo inteligentną grę, polegającą na znalezieniu takiego sposobu prowadzenia biznesu, aby z jednej strony móc wywieszać w sieci rocznie 120 tys. artykułów i kasować 200 mln dol. w APF (Article Processing Fee), z drugiej, nie narazić się na zarzuty, że niektóre czasopisma MDPI balansują na granicy predatory journal.
W stosunku do MDPI prof. Jeffrey Beall, autor słynnej listy Bealla, sformułował zastrzeżenia w artykule Chinese Publisher MDPI Added to List of Questionable Publishers, Scholarly Open Access. Większość tych zarzutów pozostaje aktualna do dziś, zwłaszcza: „its mission is to earn as much money as possible through article submissions, the publisher regularly accepts questionable papers”. Około 5% artykułów wywieszanych przez MDPI pochodzi z Polski, co także jest przykładem nadreprezentacji polskich naukowców. Wydatki z budżetu polskiej nauki z tytułu APF można oszacować na ok. 10 mln dol.
Kluczem do sukcesu MDPI jest przede wszystkim agresywny marketing, typowy raczej dla sprzedawców bielizny niż poważnego wydawnictwa naukowego. Wydawca ten ogłasza co chwila oferty typu Black Friday czy Happy Tuesday, proponując czasowe obniżenie APF do 1500 czy 1000 franków szwajcarskich. Mogą zejść nawet do 100 dol., a i tak wyjdą na swoje. Koszty publikacji w sieci są znikome. Tym bardziej że wydawnictwa nie płacą ani autorom, ani recenzentom – najwyżej oferując bonusy w postaci obniżenia tym osobom APF. Praktycznie cały APF idzie do kieszeni organizatorów biznesu publikacyjnego. Wiem, co piszę, przez dziesięć lat byłem co-editorem czasopisma indeksowanego przez Web of Science. Policzyłem koszty wywieszenia artykułu w sieci. Serwer oferujący pamięć 1.5 TB jest do wynajęcia za 100 tys. zł. Proszę to przykładowo podzielić przez 120 tys. artykułów rocznie – wychodzi mniej niż 20 centów.
Przy tego typu agresywnej promocji ważną rolę odgrywa sieć osobistych kontaktów w relacji wydawnictwo – profesura uczelni. Praktycznie w każdej dużej uczelni, zwłaszcza wśród tzw. osób funkcyjnych, wydawnictwa publikujące na masową skalę mają swoich „rezydentów” otoczonych wiernymi „naganiaczami” opłacanymi poprzez udział w pozyskanym APF. Łatwo ich zidentyfikować, wystarczy tylko obserwować, kogo i co promują w ofertach rozsyłanych wśród podwładnych i znajomych. Casus MDPI jest o tyle ważny, że obserwując tempo ekspansji MDPI, można przypuszczać, że w ciągu kilku lat koncern ten zmonopolizuje polski rynek wydawnictw naukowych, a tym samym będzie miał decydujący wpływ na przebieg ewaluacji nauki.
Oczywiście to nie uczelnie spowodowały, iż w niektórych ważnych dziedzinach nauki system punktowy stracił wiarygodność. Choć bez wątpienia wiele jednostek (rektorów?) mogłoby podejść z większą rezerwą do zjawiska masowego publikowania pracowników w wydawnictwach o co najmniej dyskusyjnej proweniencji. Źródła problemów z hakerami należy szukać w KEN-ie. Przypomnijmy: organ ten jest odpowiedzialny za „przygotowywanie projektów wykazów czasopism i konferencji wraz z przypisaniem im odpowiedniej wyceny punktowej”. Zgodnie z art. 274 KEN ma za zadanie z własnej inicjatywy, p. ust. 4, 6, sporządzanie opinii, ocen w zakresie wszelkich spraw, które mają wpływ na poprawność procesu ewaluacji. KEN nie jest instytucją powołaną ad hoc, działa w sposób permanentny, w sposób ciągły są kasowane pensje i diety. Tym samym wymienione wyżej zadania także powinny być realizowane w sposób ustawiczny poprzez bieżące monitorowanie sytuacji w polskiej nauce, zwłaszcza w obszarze czasopism i konferencji naukowych.
KEN była stale informowana, że polski system punktowy jest obiektem ataku agresywnych wydawców. Wiele osób, w tym niżej podpisany, kierowały pisma alarmujące, że punkty za publikacje są przedmiotem sprzedaży. W „Forum Akademickim” ukazały się liczne artykuły sygnalizujące ten problem (E. Radosiński, Punkty na sprzedaż, FA 3/21). Czy KEN zabrała głos w tej dyskusji? Jest przecież ustawowo (art. 274 ust. 1 pkt 6) zobligowana do sporządzania analiz w zakresie ewaluacji jakości działalności naukowej. Czy sporządziła choć jedną analizę dotyczącą wpływu tego rodzaju działalności wydawniczej na jakość systemu punktowego? Niestety po sporządzeniu wykazu i skonsumowaniu obfitego budżetu z pieniędzy podatników komisja zapadła w zimowy letarg, z którego się nie obudziła do dzisiaj.
A przecież mogła zrobić wiele. Na podstawie twardych faktów mogła poradzić ministrowi, aby wszczął procedurę usunięcia z wykazu czasopism, które zostały napiętnowane na listach Predatory Journals czy też Predatory Publishers, jak na przykład IBIMA Publishing. Do tego nie trzeba powoływać kolejnych pięćdziesięciu zespołów. Tak jak całkiem niedawno minister podniósł „wycenę” niektórych czasopism, tak samo można było zwrócić się do niego o pilne usunięcie, albo przynajmniej zmniejszenie wyceny punktowej niektórych tytułów. Upoważnienie takie zawarte jest w ustawie art. 267 ust. 2. Jeżeli KEN się obawia, że oznacza to negację praw nabytych (nie podzielam tego zdania), to komisja powinna przynajmniej sporządzić własną listę (typu wykaz Jolanty Szczepaniak) adresowaną do polskiego środowiska naukowego. Na pewno apel o unikanie pewnych czasopism i konferencji skierowany do środowiska przez cieszącą się zaufaniem komisję podziałałby. W ten sposób można by choć częściowo ograniczyć aktywność szczególnie agresywnych hakerów i zapobiec wypływowi setek tysięcy dolarów z budżetu polskiej nauki do kieszeni predatory publishers.
Jeżeli ktoś ma wątpliwości co do jakości pracy KEN, to wystarczy zajrzeć na stronę internetową z protokołami z posiedzeń za 2021 r. (Protokoły KEN – 2021 r. – Ministerstwo Edukacji i Nauki – www.gov.pl). To, co tam zobaczymy, w slangu informatycznym określa się jako świńskie pastwisko (pig pasture). Takiego lekceważenia otoczenia przez komisję afiliowaną przy ministerstwie, mającą swe umocowanie ustawowe, dysponującą sporym budżetem, jeszcze nie widziałem. Proszę zajrzeć do tych protokołów: dwa, trzy zdania, odwoływanie się do nieistniejących załączników. Masakra! A poza tym mamy czerwiec 2021, a protokoły wywieszono dwa, ze stycznia i marca.
Jak zatem w świetle tych faktów będzie wyglądała najbliższa ewaluacja jakości działalności naukowej? Prawdę mówiąc, już jest pozamiatane. Dokonania dokonane, punkty policzone. Punkty uzyskane nawet od najbardziej powiązanych ze światem przestępczym hakerów czy też wydawców umieszczonych na liście Predatory Publishers zostały naliczone zgodnie z wykazem czasopism i nikt nie ma prawa ich negować. Oczywiście na początku ewaluacji będzie trochę zamieszania, jakieś reklamacje, kwestionowanie ze strony „porządnych” uczelni dorobku punktowego tych, które w sposób wyjątkowo bezczelny kupowały punkty u hakerów. Ale jak to u nas: jeszcze nigdy tak nie było, żeby jakoś nie było. Na reklamacje się odpisze, uczelniom, które będą wyjątkowo pyszczyć, coś się dorzuci albo się je trochę postraszy. I będzie dobrze. Rozpocznie się kolejny okres ewaluacyjny, miliony dolarów znowu będą płynąć do hakerów, a z powrotem kwity z punktami. Ciekawe, co by na to powiedziały rzesze sprzątaczek, pielęgniarek, kierowców, którzy ze swoich podatków łożą na zabawę zwaną polską nauką.
Puszczając wodze fantazji nie do spełnienia, myślę jednak, że ewaluacja powinna zmierzać w kierunku oceny jakościowej, tekstowej – typu peer review. Marginalnie traktując liczbę zebranych punktów, grupa ekspertów powinna przygotować wielostronicową ocenę jednostki wskazującą na kilka, ale rangi światowej, osiągnięć, punktującą określone ułomności przedstawionego dorobku, formułującą rady, jak powinien się kształtować dalszy rozwój naukowy uczelni. Przede wszystkim powinien być jednak oceniony stan kadrowy uczelni, czy są tam tak zwane Names, a zatem osoby ze względu na dokonania rozpoznawalne, znane w wymiarze światowym, a co najmniej europejskim. A może wniosek będzie wręcz przeciwny: dorobek ilościowy jest imponujący, ale w sumie jednostka jest przechowalnią miernot, które potrafią sprytnie wykorzystywać patologie systemu punktowego? Ale znowu wracamy do świata realnego – komu będzie się chciało robić takie recenzje?
Dla mnie minimum, które przed najbliższą ewaluacją musi wykonać KEN, to zwrócić się z apelem do jednostek, aby w spisie dorobku publikacyjnego przedstawionego do ewaluacji nie wykazywać tych publikacji, które ukazały się w wydawnictwach umieszczonych na listach Predatory Publishers (np. IBIMA Publishing czy „European Research Studies Journal”).
Na koniec mój pomysł autorski mający trochę formę prowokacji intelektualnej. Koszty, jakie ponosi budżet polskiej nauki z tytułu APF, są horrendalne – ponad 100 mln zł rocznie (to dane z MEiN). Jak pisze profesor Grzegorz Węgrzyn, spełnienie przez każdego pracownika nauki wymogów ewaluacji będzie nas kosztować 1 mld zł. Co w zamian dostajemy? Rutynową i raczej pobieżną obróbkę redakcyjną, przylepienie etykiety czasopisma i wywieszenie artykułu w sieci, za co płacimy 1 mld zł – trochę grosza. Moja propozycja jest następująca. Załóżmy własny, polski odpowiednik MDPI. Nazwijmy go Narodowy (rozumie się samo przez się!) Instytut Rozpowszechniania Polskiej Myśli Naukowej (NIRPMN). Instytut ten będzie wywieszał bezpłatnie w sieci publikacje naukowe polskich autorów. Aby zapewnić minimalny poziom merytoryczny, każdy artykuł będzie recenzowany, a konkluzja będzie jedna: nadaje się / nie nadaje się do wywieszenia pod egidą NIRPMN.Moim zdaniem zagwarantuje to, że przeciętny poziom merytoryczny artykułów zaakceptowanych przez NIRPMN, nie będzie gorszy niż średnia w formule OA. Otworzy to drogę do akceptacji NIRPMN przez witryny typu Web of Science.
Proponowałbym całkowite zignorowanie drugo– i trzeciorzędnych wydawnictw i zaprzestanie płacenia im haraczu w postaci APF. Publikowanie za opłatą dopuściłbym jedynie w odniesieniu do czasopism z listy filadelfijskiej. W ten sposób polska nauka zaoszczędziłaby minimum 500 mln zł bez jakiegokolwiek uszczerbku na prestiżu.
Oczywiście pomysł ten spotka się ze wzruszeniem ramion, zostanie obśmiany – tak najłatwiej. Inni zaczną mnożyć zastrzeżenia, że na przykład akceptacja przez Web of Science to żmudny proces. Hakerom jednak się udaje wejść na Web of Science, uzyskać 100 pkt w KEN, trzeba tylko chcieć. Proszę pamiętać, chodzi o sumy liczone w setkach milionów złotych a zatem – placet experiri.
Mój kolejny artykuł będzie dotyczyć indywidualnej oceny pracowników. Jednak już dziś mogę stwierdzić, że: indywidualna ocena pracownika na podstawie systemu punktowego nie ma umocowania prawnego, przynajmniej na poziomie ustawowym; na uczelniach ocena tego typu w stosunku do pracownika jest bezprawna, można wykazać, że indywidualna ocena pracownika oparta na systemie punktowym stanowi naruszenie przepisów Kodeksu Pracy.
Prof. dr hab. inż. Edward Radosiński profesor tytularny nauk ekonomicznych radosinskie@gmail.com
