Zwycięstwo inżynierii ewaluacyjnej

Fot. UEP

Prof. Elżbieta Gołata, prorektor ds. nauki i współpracy z zagranicą Uniwersytetu Ekonomicznego w Poznaniu, komentuje przebieg i wyniki ewaluacji ze szczególnym uwzględnieniem nauk o zarządzaniu i jakości oraz ekonomii i finansów.

Wyniki aktualnej ewaluacji wskazują na wysoki poziom ocenianych jednostek. Ponad jedna trzecia uzyskała najwyższe kategorie: A+ (65) oraz A (323). Uwzględniając kategorię B+ (582 dyscypliny) okazuje się, że w 85% przypadków krajowe instytucje naukowe reprezentują poziom upoważniający do prowadzenia szkół doktorskich, doktoryzowania oraz nadawania stopnia doktora habilitowanego w ocenianych dyscyplinach. Ponad 70% (196) jednostek poddanych ocenie uzyskało uprawnienia naukowe we wszystkich zgłoszonych dyscyplinach. Dla 87 jednostek decyzja o przyznaniu kategorii B lub C oznaczała pozbawienie bądź nieprzyznanie uprawnień akademickich. Trzydzieści jednostek nie uzyskało uprawnień w żadnej ze zgłoszonych dyscyplin. Dla 25 spośród nich była to jedyna dyscyplina poddana ewaluacji.

Ten pozornie piękny obraz ma jednak głębokie rysy wynikające z wątpliwości i zastrzeżeń dotyczących zasad i sposobu przeprowadzenia ewaluacji. Wyniki kategoryzacji spowodowały falę odwołań. Nie sposób wymienić tutaj wszystkich podnoszonych zarzutów i problemów, ale trzeba zwrócić uwagę na zmiany procedur w trakcie okresu oceny (ostatnia została wprowadzona w końcu grudnia 2021 r.), niezgodne z rozporządzeniem zmiany na listach czasopism, brak transparentności, szczególnie w kryterium trzecim, czy spowodowane pandemią wydłużenie okresu ewaluacji oraz podział czasu jej trwania na dwie części.

Pod względem liczby przyznanych kategorii przodują dwie dyscypliny z zakresu nauk ekonomicznych: nauki o zarządzaniu i jakości (NoZiJ) – 55 jednostek oraz ekonomia i finanse (EiF) – 47 jednostek. Zauważmy, iż jednocześnie są to dwie dyscypliny, w których przyznano relatywnie najmniej kategorii A (odpowiednio 16% i 17%), a żadna jednostka nie otrzymała kategorii A+. Wszystkie publiczne uniwersytety ekonomiczne oceniono jednakowo przyznając im kategorię B+.

W dyscyplinie ekonomia i finanse blisko 90% ewaluowanych jednostek spełnia wymogi do prowadzenia postępowań doktorskich i habilitacyjnych. Wśród najlepszych, obok niekwestionowanych Uniwersytetu Warszawskiego czy Uniwersytetu Mikołaja Kopernika, są takie uczelnie, których żaden ekonomista pytany o przodujące w tej dyscyplinie ośrodki by nie wskazał. W naukach o zarządzaniu i jakości dylemat byłby jeszcze większy. Czy rzeczywiście przodujące pod względem naukowym uczelnie ekonomiczne w Polsce to Federacja Naukowa WSB-DSW, Akademia Finansów i Biznesu Vistula, Akademia Górniczo-Hutnicza i Politechnika Opolska? O czym więc mówią wyniki ewaluacji? Czy są one rzetelne i wiarygodne? Poniższe rozważania są próbą uporządkowania kontrowersji związanych z obecną ewaluacją.

1. Dziedziny i dyscypliny naukowe. Ustawa Prawo o szkolnictwie wyższym i nauce głosi promocję interdyscyplinarności, ale jej nie wdraża w życie. Tegoroczna ewaluacja została po raz pierwszy przeprowadzona w dyscyplinach naukowych ogłoszonych w wykazie z 20 września 2018 r., który miał zapewniać zgodność ze standardami międzynarodowymi. Jednak to brak zgodności z systematyką dziedzin i dyscyplin OECD był uzasadnieniem przedstawionej 29 czerwca 2022 propozycji kolejnych, dyskusyjnych zmian w wykazie. Przeprowadzenie kategoryzacji dyscyplin, a nie jak wcześniej jednostek naukowych, wydaje się logiczne, szczególnie w dużych uczelniach prowadzących badania w wielu obszarach, często na bardzo zróżnicowanym poziomie.

W sytuacji uczynienia dyscyplin przedmiotem kategoryzacji, ogłoszenie ich wykazu w 2018 r., a więc w trakcie ewaluacji, oznaczało naruszenie reguły następstwa czasowego, zgodnie z którym powinniśmy znać zasady przed rozpoczęciem okresu oceny. Do końca listopada 2018 r. wszyscy prowadzący badania naukowe zostali zobowiązani do złożenia deklaracji o pracy w dziedzinie i dyscyplinie. Można powiedzieć, że od tego wszystko się zaczęło, gdyż już w momencie wyboru jednej bądź dwóch dyscyplin trzeba było wykazać się znajomością „inżynierii ewaluacyjnej”. Wybierając dwie dyscypliny należało zadeklarować odpowiedni podział czasu, co jednocześnie oznaczało zobowiązanie do publikacji odpowiedniej liczby slotów w tych dyscyplinach.

Dodatkowo zdecydowano, że czasopisma, w których badacze publikują swoje osiągnięcia, powinny być przypisane do dyscyplin. Rozpętało to akcję lobbowania, by jak najwięcej periodyków, w których specjaliści z danej dziedziny zwykli publikować swoje prace, miało przypisaną określoną dyscyplinę, a najlepiej kilka. Artykuły w czasopismach, którym wskazano dyscyplinę zgodną z deklarowaną przez autora, były automatycznie uznawane za związane z daną dyscypliną. W konsekwencji interdyscyplinarność badań została „ukarana” poprzez odrzucanie w procesie ewaluacji tych osiągnięć naukowych, które oceniający uznali za niewłaściwie przypisane do dyscyplin, zazwyczaj jedynie na podstawie braku zgodności deklarowanej (i ocenianej) dyscypliny z tą, do której przypisane zostało czasopismo. Informacja taka była generowana jako alert w systemie SEDN.

2. Liczba N. Idea ewaluacji zakładała uwzględnienie osiągnięć wszystkich pracowników, którzy zadeklarowali prowadzenie badań naukowych w danej dyscyplinie (tzw. liczba N). W kryterium pierwszym oznacza to zobowiązanie każdego pracownika do publikowania wyników swoich badań. Słusznie, naukowiec powinien publikować. Brak publikacji powiązano z „karą” dla jednostki oznaczającą umniejszenie liczby (3N) ocenianych osiągnięć o trzy (w przypadku niedopełnienia innych wymogów, jak brak deklaracji, o sześć). Zapisy te spowodowały gremialnie podejmowaną przez wiele uczelni akcję „czyszczenia” liczby N. Pracowników, którzy nie mieli publikacji albo których artykuły ukazały się w nisko punktowanych czasopismach, przesuwano na etaty dydaktyczne, co oznaczało, że ich dorobek nie był uwzględniany w ewaluacji. Nie wnikając w szczegóły, taka procedura, prowadząca do wyboru jedynie kilkunastu pracowników, których osiągnięcia decydowały o wyniku ewaluacji, mogła być bardzo głęboka. Ustawa wyraźnie precyzuje, że jednostka podlega ewaluacji w dyscyplinie, w której zatrudnia co najmniej 12 pracowników prowadzących badania naukowe.

Jednostki o „małej” i „dużej” liczbie N nie są porównywalne, gdyż inne są możliwości motywowania pracowników oraz podejmowania działań zapewniających publikacje przynoszące pożądane w ewaluacji rezultaty. W konsekwencji zauważyć można wyraźny związek wysokich ocen w ewaluacji z małą liczbą N. Wśród 8 jednostek, które uzyskały kategorię A w ekonomii i finansach, jedynie dwie: Uniwersytet Warszawski oraz Uniwersytet Mikołaja Kopernika, mają liczbę N większą niż 35. Połowa jednostek ma liczbę N oscylującą wokół 20. W przypadku nauk o zarządzaniu i jakości korelacja między liczbą N a uzyskaną kategorią jest jeszcze wyraźniejsza. Wśród 9 liderów ewaluacji nie ma żadnej dużej jednostki, nieliczne są średnie, a większość to podmioty małe, które idealnie wpisały się w wymogi rozporządzenia o ewaluacji. „Czyszczenie” liczby N spowodowało, że w konsekwencji ewaluacji, w „nauce” przodują uczelnie o małej liczbie pracowników prowadzących badania naukowe. Szczególny przypadek stanowi Federacja Naukowa WSB-DSW, w której połączenie czterech uczelni daje liczbę zaledwie kilkunastu pracowników prowadzących badania naukowe. Czyli przodująca w zakresie działalności naukowej uczelnia, to taka, w której dosłownie kilku pracowników zajmuje się nauką.

Poważne obawy budzi potencjał naukowy wielu uczelni, które uzyskały uprawnienia do doktoryzowania i habilitowania. Prowadzenie szkół doktorskich jest kosztowne i wymaga odpowiedniej kadry. Nie trzeba jednak prowadzić szkoły doktorskiej, by korzystać z uprawnienia do nadawania stopni naukowych, nie trzeba zatrudniać samodzielnych pracowników naukowych, ważne by w danej dyscyplinie jednostka posiadała kategorię naukową A+, A albo B+ (art. 185 ust. 1 ustawy). Teoretycznie może dojść do sytuacji kuriozalnych, gdy grupa dwunastu niesamodzielnych pracowników nauki nadaje stopień doktora czy doktora habilitowanego. W przypadku habilitacji pewnym zabezpieczeniem są kompetencje Rady Doskonałości Naukowej (RDN), ale w odniesieniu do doktoratów decyzja należy do rady dyscypliny w jednostce. Nie sposób nie wspomnieć w tym miejscu o ponad dwukrotnym wzroście liczby uprawnień akademickich czy szeroko komentowanej w prasie uczelni (Uniwersytet Rzeszowski – red.), która dzięki decyzji ministra Czarnka zwiększyła liczbę uprawnień do habilitowania z 6 do 21.

W przykładowej uczelni, która według ewaluacji uzyskała kategorię A w obu dyscyplinach ekonomicznych (Federacja WSB – red.) czy w jednej kategorię A i kategorię B+ w drugiej (Politechnika Opolska – red.), wydział odpowiadający tym dyscyplinom liczy około 40 pracowników (wg strony internetowej tej uczelni, w tym tzw. bazy wiedzy). Jest to oczywiście szacunek przybliżony, gdyż pracownicy deklarujący te dyscypliny mogą być zatrudnieni na innych wydziałach. Analizując obie dyscypliny ekonomiczne, liczba pracowników uwzględnianych przy określaniu liczby N kształtuje się na poziomie ok. 20 na dyscyplinę. Chcąc bliżej ocenić potencjał naukowy uprawniający do prowadzenia szkoły doktorskiej, doktoryzowania i habilitowania, można zauważyć, że jest to bardzo nieliczna grupa kilkunastu samodzielnych pracowników nauki, w tym emerytów. Tytularnych profesorów jest dwóch bądź trzech. Dodatkowo są wśród nich osoby, które otrzymały stopień bądź tytuł naukowy w innej dyscyplinie niż ekonomia czy zarządzanie (wg bazy ludzi nauki OPI).

Nie wolno generalizować, ale dorobek wielu jednostek, które uzyskały najwyższą kategorię to często artykuły w wysoko punktowanych czasopismach opisywanych jako drapieżne, np. „European Research Studies Journal” (100 pkt), wydania specjalne (special issue) na potrzeby polskiej ewaluacji takich czasopism, jak „Energies” (140 pkt) czy komunikaty w materiałach konferencyjnych IBIMA (70 pkt). Temat ten wielokrotnie podejmowano także na łamach „Forum Akademickiego”. Doprowadzona do perfekcji „inżynieria ewaluacyjna” została nagrodzona. Uczelnie, które zadbały o małą liczbę N, ograniczając ją do pracowników badawczych i badawczo-dydaktycznych posiadających wysoko punktowane publikacje, otrzymały od ministra dokument przyznający najwyższą kategorię oraz uprawnienia naukowe – zostały mianowane „liderami” w naukach ekonomicznych. Paradoksalnie, mianem takim, poza wskazanymi wcześniej wyjątkami, chlubią się uczelnie, w których większość to pracownicy dydaktyczni.

3. Lista czasopism. Lista czasopism to tak ważna kwestia, że wymaga odrębnego opisu. Pracownik został bowiem zobowiązany do publikowania w wydawnictwach i czasopismach, których spisy zostały podane przez ministerstwo (po raz pierwszy) dwa lata po rozpoczęciu okres ewaluacji. Swoiste kuriozum stanowi fakt, że za artykuł opublikowany w tym samym czasopiśmie w roku 2017 oraz w 2019 przyznawano różną liczbę punktów, przy czym zmiana ta nie wynikała ze wzrostu Impact Factora czasopisma.

Wprowadzając zmiany na listach, minister działał niezgodnie z wydanym przez siebie rozporządzeniem. Jednak istotne jest to, że zmiany te honorowały czasopisma stosujące nierzetelne praktyki. Promowanie czasopism drapieżnych stanowiło otwartą zachętę do marnotrawienia środków publicznych. Zamiast oczekiwanej dbałości o dyscyplinę finansów publicznych oraz ich przeznaczania na rozwój nauki, wydano przyzwolenie na finansowanie rozwoju nierzetelnych korporacji wydawniczych. Trzeba uczciwie przyznać, że część środowiska naukowego chętnie z tej możliwości skorzystała. Motywacje były różne, ale przede wszystkim powoływano się na ewaluację i dobro uczelni jako cel nadrzędny. Nie zabrakło także głosów, które wskazywały na korzyści wynikające z rzekomego umiędzynarodowienia polskiej nauki. Rozwinął się lobbing, wykorzystywanie różnych układów i wpływów dla korzystnej zmiany punktacji czasopism czy wręcz wprowadzenia periodyków o wątpliwej reputacji na listę ministerialną. Część środowiska protestowała nie zgadzając się z takimi praktykami. Nie było to jednak skuteczne.

4. …i wydawnictw. Uwagi dotyczące listy wydawnictw pokrywają się z tymi, które dotyczą listy czasopism. Ich wyodrębnienie wiąże się przede wszystkim z konstrukcją samego spisu i klasyfikacją oficyn na poziom 1 i 2. Prowadzi to do zrównania wielu uznanych wydawnictw o międzynarodowym zasięgu z wydawcami lokalnymi, a także nienaukowymi. Włączenie wydawnictw nienaukowych do listy ministerialnej jest sprzeczne z ideą wykorzystania jej do ewaluacji działalności naukowej.

5. Ocena ekspercka. Wiele wątpliwości budzi wprowadzona rozporządzeniem o ewaluacji punktoza. Nie sposób efektów działalności naukowej w pełni skategoryzować i zmierzyć przy pomocy punktów. Emanuel Kulczycki w wywiadzie dla oko.press przyznał, że docelowo głos winniśmy oddać ekspertom. Uważał jednak, że środowisko naukowe w Polsce jeszcze nie jest gotowe do podjęcia takiego wyzwania. Ograniczono więc ocenę ekspercką do kryterium III w taki sposób, że zasadniczą ocenę znaczenia osiągnięcia pozostawiono osobom z innej niż oceniana dyscypliny. Czy więc rzeczywiście ocenę tę pozostawiono ekspertom? Być może tak, ale w innym zakresie. Okazało się, że wyniki tej oceny wzbudziły niezadowolenie przede wszystkim z powodu braku rzetelności oraz podejrzenia o dbanie o interes własnej uczelni. Punktoza nie jest dobra, ale ocena ekspercka tym razem nie zdała egzaminu.

6. Rankingi i akredytacje krajowe i międzynarodowe. Polskie uczelnie krytykowane są za brak uznania w rankingach międzynarodowych. Przy pominięciu w tym miejscu dyskusji nad kryteriami, naturalnym wydaje się oczekiwanie przybliżonej zgodności wyników ewaluacji z wynikami najbardziej uznanych rankingów. Nic bardziej mylnego. Liderami ewaluacji są uczelnie nie notowane w rankingach międzynarodowych. W międzynarodowym QS World Ranking by Subject 2022 znalazły się 23 polskie uczelnie. W dyscyplinie Business sklasyfikowano pięć jednostek: Szkołę Główną Handlową, Akademię Leona Koźmińskiego, Uniwersytet Ekonomiczny w Poznaniu oraz wydziały Uniwersytetu Warszawskiego i Politechniki Warszawskiej. W zakresie nauk o zarządzaniu i jakości żadna z tych uczelni nie otrzymała w ewaluacji kategorii A. W ekonomii i finansach udało się to tylko Uniwersytetowi Warszawskiemu. Pozostałe uczelnie, które znalazły się wśród najlepszych na świecie w tym rankingu, w wyniku polskiej ewaluacji działalności naukowej otrzymały kategorię B+.

Uczelnie, które w zakresie nauk ekonomicznych uzyskały międzynarodowe akredytacje zaliczane do tzw. złotej korony, takie jak EQUIS czy AACSB, nie zostały docenione w ewaluacji, której wyniki oznaczają wprost dyskredytację rankingów i akredytacji międzynarodowych.

7. System informatyczny. Trudno nie wspomnieć o problemach związanych z wprowadzaniem danych do Systemu Ewaluacji Dorobku Naukowego (SEDN) czy Polskiej Bibliografii Naukowej (PBN 2.0), które pojawiały się na każdym etapie przygotowań do ewaluacji. Informatyzacja jest bezwzględnie potrzebna, ale wykorzystanie systemu, który nie został wcześniej odpowiednio przetestowany budzi zastrzeżenia. Zmiany w systemie były wprowadzane bez informacji skierowanej do użytkowników bądź były obwieszczane komunikatem. Zdarzało się nawet, że komunikat zmieniał rozporządzenie. Moduły systemu tworzono na bieżąco, wprowadzano z opóźnieniem, a ich funkcjonalności zmieniano i doskonalono. Przerwy w dostępności systemu były częste, utrudniając organizację pracy. Bibliotekarze i pracownicy informacji naukowej dosłownie stawali na głowie, by wprowadzić do systemów osiągnięcia pracowników, tak, by były one widoczne nie tylko w PBN, ale także w SEDN, i zsynchronizowane z ORCID, codziennie weryfikując, czy po kolejnej aktualizacji systemu dane wprowadzone wczoraj są widoczne i poprawne.

8. Zmienność zasad. O tym, w jaki sposób przeprowadzona zostanie ewaluacja, naukowcy i uczelnie dowiedziały się z rozporządzenia MNiSW opublikowanego 22 lutego 2019 r., czyli w trakcie przeprowadzanej oceny obejmującej lata 2017-2021. W normalnych warunkach prawo nie działa wstecz, a zasady są ogłaszane przed rozpoczęciem okresu oceny. Jednak w przypadku tej ewaluacji nic nie było normalne, a wiele decyzji i działań podejmowano z naruszeniem zasad prawa.

Jednolity tekst obowiązującego rozporządzenia MEiN o ewaluacji jakości działalności naukowej został ogłoszony 23 lutego 2022 r., czyli już po upływie okresu oceny. Od lutego 2019 r. dwukrotnie – 31 lipca 2020 r. oraz 19 października 2021 r. – wprowadzano w nim zmiany. Również w opublikowanym 6 marca 2019 r. rozporządzeniu w sprawie danych przetwarzanych w Systemie POL-on dokonano dwóch zmian (22 grudnia 2020 r., 17 grudnia 2021 r.). W tym ostatnim przypadku na tydzień przed upływem terminu zwiększono do 1500 liczbę znaków w opisie wpływu działalności naukowej na gospodarkę i społeczeństwo.

9. Środowisko naukowe. Środowisko naukowe w Polsce jest zróżnicowane i podzielone, a interesy poszczególnych jego części sprzeczne. To jego przedstawiciele wspólnie z ministrem J. Gowinem wypracowali zasady ewaluacji w trakcie zakrojonego na szeroką skalę tzw. Narodowego Kongresu Nauki. Również w odpowiedzi na wnioski przedstawicieli środowiska minister Przemysław Czarnek wprowadzał zmiany listy czasopism. To wybrani w skład Komisji Ewaluacji Nauki uznani przedstawiciele środowiska wskazali kategorie w oparciu o listę czasopism, którą wcześniej sami zakwestionowali. Wiarygodność wyników ewaluacji podważyło samo MEiN, które ignorując protesty naukowców oraz takich gremiów jak PAN czy KRASP, bez zachowania określonego w przepisach trybu postępowania, wielokrotnie zmieniało nie tylko listę czasopism, ale także progi referencyjne przyznawanych kategorii. O jakości całego procesu ewaluacji dobitnie świadczą słowa ministra Czarnka wypowiedziane podczas konferencji prasowej 9 maja 2022 r. Wprowadzane zmiany progów referencyjnych uzasadniał on wówczas faktem „obrony flagowych uczelni”, które bez takiej interwencji straciłyby uprawnienia akademickie.

10. Brak jawności. Cała procedura owiana jest dodatkowo mgłą tajemniczości. Nie jest publicznie udostępniona liczba N w poszczególnych jednostkach i dscyplinach, nie są nawet dostępne informacje o wartościach progowych w poszczególnych dyscyplinach. Tajemnicą poliszynela pozostaje korelacja między uzyskaną kategorią a liczbą N. Informacje przekazywane są w nieformalnym obiegu. Te, które wykorzystano w niniejszym artykule, pochodzą z własnych dociekań autorki, w tym poszukiwań na stronach internetowych uczelni. Stosując podejście biznesowe (może bardziej bliskie uczelniom prywatnym niż publicznym), zapewne w większości jednostek można wybrać 12 pracowników nauki, których udziały jednostkowe osiągnęły maksymalne wartości. Tylko że w ten sposób zrealizowana ewaluacja oznacza promocję działań nieetycznych, które prowadzą do upadku nauki w Polsce, niszczą ją i degradują.

Wyniki ewaluacji zostały ogłoszone dwa miesiące temu, są już pierwsze refleksje i przemyślenia. Czy będziemy mądrzejsi i skorzystamy z doświadczenia, by nie powtórzyć błędów w kolejnej ewaluacji. Minister zapowiedział zmiany jej zasad i powołał zespół, który ma wypracować nowe propozycje. Jakie one będą i kiedy zostaną ogłoszone, tego niestety nie wiemy, a kolejny okres ewaluacji trwa – rozpoczął się 1 stycznia 2022 r. Czyli znów prawo będzie działać wstecz.