Marcin Miłkowski
Biurokracja kolonialna liczy szczurze ogony w Hanoi. Obraz wygenerowany przez DALL-E 3.0
Środowisko naukowe słusznie postuluje gruntowne zmiany zasad ewaluacji nauki. Ja idę znacznie dalej: uważam, że należy skończyć z tą szkodliwą fikcją. Ewaluacja jest nie tylko droga, ale też prowadzi do wynaturzeń. Nie chodzi mi tutaj wyłącznie o nieprawidłowości, polegające na przykład na arbitralnym podwyższeniu punktacji lokalnym czasopismom o dosyć wątpliwej naukowej renomie. Chodzi raczej o samą konstrukcję procedury oceny.
W każdej dziedzinie życia publicznego warto domagać się, żeby rezultaty ponoszonych przez państwo wydatków były znane i podlegały ocenie. Ewaluacja jednostek naukowych w poszczególnych dyscyplinach mogłaby służyć w dalszej perspektywie polepszeniu ich działania. Wiedząc, że drogi są dziurawe, możemy je naprawiać. Tylko że ewaluacja nauki służy retuszowaniu zdjęć dróg. Została zaprojektowana bez pomyślunku. Opiera się na wskaźnikach, które nie mierzą poziomu badań naukowych, lecz to, co jest łatwe do zmierzenia. Przypomina mi to znaną historię o walce z epidemią w Indochinach Francuskich. W 1902 roku w Hanoi szalała dżuma. Władze kolonialne chciały ją zwalczyć, wybijając szczury. Same nie dały rady. Poproszono o pomoc mieszkańców. Ponieważ administracja nie chciała gromadzić ciał zakażonych dżumą szczurów, dawano nagrody za zbieranie samych ogonów na dowód zabicia szczura. Na ulicach miasta już wkrótce paradowały szczury z obciętymi ogonami. Dalej się rozmnażały, zwiększając zyski zbieraczy ogonów. Na papierze sukces, w rzeczywistości dżuma.
Wśród naukowców nie brak jednak głosów, że bez ciągłego nadzoru pracownicy naukowi zbijają bąki, pozorując tylko działalność naukową. Załóżmy nawet, że naukowcy są jak mrówki – ponoć większość mrówek krząta się bez sensu, pozorując pracę. Tylko że obniżanie finansowania całej jednostki na lata, tak jak głodzenie mrowiska przez kilka sezonów, niespecjalnie wydaje się sensownym sygnałem do poprawy. Tymczasem politykę naukową ma zastępować taka mechanicznie podejmowana decyzja, w dodatku tylko raz na cztery lata; wcześniej można było przynajmniej starać się o szybkie działania naprawcze.
Ewaluacja w rzeczywistości działa zupełnie na opak. Doprowadziła do powstania hodowli szczurzych ogonów na dużą skalę. Któż mógł przewidzieć, że naukowcy będą wybierać publikowanie w czasopismach dobrze punktowanych i dających szansę szybkiego druku? Prof. Przemysław Hensel szacuje, że na same opłaty w jednym tylko wydawnictwie MDPI wydano około 274 milionów złotych. Tego rodzaju problemy można byłoby oczywiście rozwiązywać, obniżając na przykład punkty całemu wydawnictwu, ale trzeba by to porządnie uzasadnić. Można by to zrobić na przykład przez wprowadzenie ocen eksperckich zamiast mechanicznie przydzielanych punktów. I tu znowu prof. Hensel wskazuje, że kosztowałoby to prawie 95 mln złotych i byłoby bardzo czasochłonne. Można by też łatać system przez wprowadzanie zmian w odpowiedzi na zauważane patologie, licząc, że Komisja Ewaluacji Nauki wygra wyścig zbrojeń ze sprytnymi hodowcami szczurów. Tylko czy warto się w takie wyścigi w ogóle bawić? Chcę wskazać kilka szkodliwych mitów na jej temat.
W porównaniu z poprzednią oceną parametryczną obecna ewaluacja jest nieco bardziej przejrzysta, gdyż ministerstwo udzieliło odpowiedzi na część pytań dotyczących wyników. Ale odmawia konsekwentnie udzielania jakichkolwiek informacji na temat jednego z ważnych aspektów ewaluacji, mianowicie efektów finansowych badań lub prac rozwojowych – są one utajnione, nawet jeśli w danej dyscyplinie do żadnej komercjalizacji nie dochodzi. Ewaluacja miała służyć rozliczaniu jednostek naukowych z uzyskiwanych wyników, ale dane o zewnętrznym finansowaniu są tajne.
Ciekawsze jest to, że opinie i oceny KEN są opisywane przez ministerstwo jako „dokumenty wewnętrzne”. Jak napisano mi w odmowie na wniosek uzyskania informacji publicznej: „Eksperci oceniający osiągnięcia w ramach ewaluacji uczestniczyli w pracach Komisji Ewaluacji Nauki. Wszelkie wytworzone w tym zakresie dokumenty, w tym sporządzone przez ekspertów opinie, kwalifikują się zatem jako dokumenty wewnętrzne Komisji i nie podlegają udostępnieniu w rozumieniu przepisów o dostępie do informacji publicznej”. Ciekawe, że tak nie traktuje się recenzji awansowych, które przecież mogłyby być wewnętrznymi dokumentami komisji doktorskich i habilitacyjnych!
Nie dowiemy się więc, jak eksperci oceniali poszczególne osiągnięcia. A jest to ważne, bo warto byłoby wiedzieć, czy stosowano te same kryteria spójnie we wszystkich dyscyplinach, czy eksperci byli ze sobą zgodni i czy nie było tam błędów bądź też zupełnie arbitralnych ocen. I żeby można było dostać szczegółowe informacje, co można poprawić. Nawet Polska Bibliografia Naukowa, w której gromadzone są informacje o publikacjach naukowych badaczy zatrudnionych w polskich jednostkach naukowych, jest tylko częściowo publiczna. System nie dokumentuje historii zmian ani nawet nie pozwala na publiczny dostęp do danych, jeśli nie ma się praw do modyfikacji tych danych. Ilościowa analiza zawartości PBN jest w sumie niemożliwa przez kogoś z zewnątrz.
Jak wiadomo, minister nauki Przemysław Czarnek zmienił gruntownie punktację polskim czasopismom. Można by sądzić, że jednak na samym początku listy ministerialne miały sens. Nie miały. Od początku lista wydawnictw książek była zupełnie arbitralna, nie uwzględniano w ogóle wydawców niemieckich, francuskich czy hiszpańskich. Przypomnę, że listę wydawnictw podzielono na dwa poziomy, gdzie poziom II to Oxford University Press, a poziom I to Springer, Peter Lang i… Księgarnia Świętego Jacka (wydawca przede wszystkim kalendarzy). Lobbing doprowadził do tego, że nie było trzech progów, bo lokalne wydawnictwa byłyby niżej oceniane niż znane międzynarodowe. Nie stosowano tu żadnych obiektywnych kryteriów, jedynie uznaniowe, a że oparte na „dokumentach wewnętrznych”, to nie wiadomo jakie.
Trochę lepiej mogło być z punktacją czasopism, gdzie wprowadzono dosyć skomplikowane reguły, a duże grupy ekspertów z poszczególnych dyscyplin decydowały o wyborze wskaźników służących do wyliczenia punktów ministerialnych. Najbardziej znanym kryterium jest impact factor, ale komisje nie musiały się nim kierować. Komisja ds. czasopism filozoficznych, w której byłem, wybrała inną kombinację wskaźników. Impact factor łatwo podlega manipulacjom – szczurze ogony zbieramy nie tylko w Polsce. Obserwuje się m.in. ogromny wzrost tego wskaźnika w popularnych ostatnio megaczasopismach, a jego wysokość w istocie zależy też od negocjacji wydawców z firmą Clarivate, a nie tylko od liczby cytowań. Niemniej nie wprowadzono żadnego systematycznego procesu aktualizacji punktów, a od początku istniał rokokowo wręcz skomplikowany podział na punkty z lat 2017 i 2018 oraz punkty z lat następnych. Ta kombinacja powodowała rozjeżdżanie się danych z bibliometrii z punktami.
Gorzej, wskaźnik impact factor jest wysoki w czasopismach, które drukują tylko zaskakujące wyniki badań. Takie wyniki są mniej prawdopodobne niż to, co wiedzieliśmy wcześniej. Nic dziwnego, że jedyną rzeczą, z którą koreluje wysoki poziom impact factor, jest niski poziom replikacji, a przypuszczalnie też fałszywość. Z tym wskaźnikiem jest dokładnie tak, jak ze szczurzymi ogonami. A od niego (lub jakiegoś jego wariantu, którym daje się mniej manipulować, np. SJR) zależy większość punktów ministerialnych, poza tymi, które poza wszelkimi procedurami dodał minister Czarnek. Tak więc może i lepiej, że ewaluacja nie zależy wprost od bibliometrii, ale oceny eksperckie służące do ustalania punktów powinny być przede wszystkim jawne i systematycznie przeprowadzane, z możliwością odwołań i dostępnością dokumentacji. Pamiętam przy tym kuriozalnego maila od urzędnika z ministerstwa, w którym domagał się, abyśmy jako członkowie komisji przyznającej punkty czasopismom filozoficznym zapomnieli, co ustalaliśmy, a także skasowali wszystkie maile. Ot i transparencja ministerialna.
Jednym z głównych założeń ewaluacji jest to, że pracownik pełnoetatowy może zgłosić maksymalnie cztery osiągnięcia za cztery lata. Dzięki temu ewaluacja miała dostarczać informacji o średnim poziomie badań w poszczególnych dyscyplinach w uprawiających je jednostkach. Zatrudnienie jednej wybitnej i pracowitej osoby miało nie windować wyniku, gdyby pozostali pracownicy się obijali. Miało. W praktyce bowiem okazało się, że wystarczy, aby autor wielu wartościowych punktowo publikacji miał współautorów. Wówczas jest możliwość skreślenia go z listy deklarowanych autorów – tzw. odpięcia autora – a punkty będą przysługiwały wyłącznie współautorom. Ta ewidentna manipulacja pozwala zgłosić jednostce dowolną liczbę osiągnięć jednego autora, pod warunkiem że znajdzie on współautora-słupa. Tego rodzaju operacje zresztą są rekomendowane przez wyspecjalizowane oprogramowanie służące do optymalizacji punktów. A minister mógłby usunąć możliwość tej manipulacji jednym pociągnięciem pióra w nowelizacji rozporządzenia. Zresztą nie tylko tej, nie ma żadnej sankcji za zgłoszenie fikcyjnej publikacji pracownika (a są sankcje za istnienie pracowników bez żadnej publikacji, co musi prowadzić do powstania niewłaściwej zachęty). Te problemy były ministerstwu i KEN doskonale znane w trakcie ewaluacji. Udostępniane publicznie informacje nie zawierają nazwisk autorów, więc nie jest to od razu widoczne, ale może ktoś pokusi się o analizę, jak często mieliśmy do czynienia z „odpinaniem” autorów.
Ewaluacja miała być tania, przejrzysta i mechaniczna. Tymczasem w rozporządzeniu nie zdefiniowano nawet tak elementarnych pojęć, jak „artykuł recenzyjny”, „ostateczna wersja publikacji” czy „edytorial”. Dla niektórych ekspertów edytorialami, wbrew definicji w Wielkim słowniku języka polskiego, są nawet wstępy do prac zbiorowych. Najgorzej jest z kryterium III ewaluacji, czyli ze społecznym wpływem nauki. KEN opracowała podręcznik dla jednostek naukowych, ale ma on status „powielaczowy”, bo nigdzie nie został ugruntowany w prawie. Nie wiemy nawet, czy ten podręcznik stosowano w taki sam sposób we wszystkich dyscyplinach. A o zmianach w wykazach czasopism nie warto nawet wspominać, bo koń, jaki jest, każdy widzi.
Nie do końca. Eksperci KEN mieli wyświetlane w systemie informatycznym alerty, że należy sprawdzić niektóre osiągnięcia. Nie wiemy, dlaczego akurat te. Niektórych jednostek przez to w ogóle nie sprawdzono, a w niektórych dyscyplinach eksperci byli nadgorliwi. W filozofii odrzucono 161 osiągnięć na 2500 zgłoszonych, tyle samo, co w inżynierii materiałowej z dziesięciokrotnie większą liczbą osiągnięć. Co więcej, zawartość PBN ulega ciągłym zmianom, także w wyniku „wrogich edycji” innych jednostek, czasem przeprowadzanych przez wyspecjalizowane oprogramowanie na wielką skalę. A system nie przechowuje historii zmian ani o nich nie informuje. Bez kupienia drogich systemów informatycznych lub skierowania kogoś do pełnoetatowego śledzenia zmian nie sposób zapanować nad tym chaosem.
Wisienką na torcie jest źle skonstruowany wzór wyznaczający wyniki w kryterium I, dzięki któremu jednostki nieprowadzące kształcenia, a ledwo spełniające kryterium kadrowe (12 pracowników) uzyskiwały najwyższe punkty, np. Politechnika Warszawska w filozofii i prawie, a Ośrodek Przetwarzania Informacji w socjologii.
Wyniki ewaluacji nie mają wcale dominującego wpływu na poziom finansowania ocenianych jednostek. W przypadku uczelni nieznacznie modyfikuje 1/4 części zmiennej subwencji (stanowiącej docelowo 75% całej subwencji), zależącej przede wszystkim od poziomu zatrudnienia na etatach badawczych, a znaczna obniżka występuje tylko przy uzyskaniu kategorii C (rzadkość). W sumie to i dobrze, że przez cztery lata jednostki z nieco gorszą oceną nie muszą biedować. Jednak wprowadzono dotkliwe kary o naturze niefinansowej. Gorsza ocena poniekąd pozwala jednostce uniknąć wielu wydatków, bo może uniemożliwiać sfinansowanie przewodu doktorskiego czy habilitacyjnego. Wpływa bowiem bezpośrednio na dosyć osobliwie skonstruowany katalog uprawnień, na przykład uprawnienia do prowadzenia kierunków studiów czy szkół doktorskich, uprawnienia do nadawania stopni i tytułów naukowych czy uprawnienia do zgłaszania kandydatów do różnych ciał doradczych (takich jak Komisja Ewaluacji Nauki). Ten katalog nie ma jednak zbyt wielkiego związku z poziomem badań, a jedynie służy do wymierzania pozafinansowych kar.
Ewaluacja ma oceniać dyscypliny w jednostkach pod trzema względami: poziomu publikacji, zdobywania środków na badania i komercjalizacji wyników oraz wpływu społecznego. Żaden z nich nie ma klarownego związku przyczynowo-skutkowego z poziomem dydaktyki, poziomem prac doktorskich, rzetelnością procesów awansowych czy poprawnym składem ciał doradczych. Najważniejszy w ewaluacji jest poziom publikacji, mierzony wadliwie punktami ministerialnymi.
Jak się to ma do uprawnień? Prowadzenie kierunku studiów nie powinno być kwestią zatrudnienia tuzina pracowników z publikacjami w czasopismach o wysokiej liczbie cytowań, tylko odpowiedniego sprawdzenia możliwości prowadzenia rzetelnej dydaktyki przez wyspecjalizowane ciało zajmujące się oceną dydaktyki.
Poziom rozpraw doktorskich czy uczenia w szkole doktorskiej nie zależy od poziomu publikacji w danej jednostce, zajęcia mogą prowadzić bowiem tam osoby z innych jednostek, promotorzy mogą być spoza jednostki, a doktoraty przyznawane są przez rady, które nie muszą wcale składać się wyłącznie z pracowników danej jednostki. Na przykład w radach instytutów PAN mamy bardzo wielu naukowców spoza naszych placówek. Ich dorobek wcale nie podlega ocenie. Promotorami bywają specjaliści z innych uczelni, więc badanie poziomu naszych publikacji lub naszego wpływu społecznego ma luźny związek z poziomem samych rozpraw czy też rzetelnością procesu przyznawania tytułu profesora, który jest i tak nadzorowany w każdym przypadku przez Radę Doskonałości Naukowej. Niech ktoś pokaże przynajmniej jakąkolwiek korelację między wynikiem ewaluacji a jakością procesu analizy dorobku pojedynczych badaczy starających się o tytuł profesorski.
Jednostka może nie mieć ani jednego samodzielnego pracownika, który mógłby być promotorem doktoratu, a jednocześnie kategorię co najmniej B+ i uprawnienia do doktoryzowania. Promotorem zaś może być osoba spoza tej placówki, nawet gdy jest z innej instytucji naukowej kategorii C. Z kolei uprawnienia awansowe powinny zależeć od indywidualnego dorobku osób zaangażowanych w sam proces awansu (częściowo już zależą, bo RDN wyznacza recenzentów na podstawie kryteriów merytorycznych).
Więc może przynajmniej warto ograniczyć kandydowanie do różnych komisji, także tak istotnych, jak KEN? A gdzie tam! Tak naprawdę kandydatki i kandydaci do tych ciał powinni być zgłaszani po prostu w ramach transparentnych procedur konkursowych, a nie dyskrecjonalnych decyzji ministra wybierającego kandydatury zgłoszone przez „najlepsze jednostki”.
Miało być tanio, a jest drogo i z coraz większymi wynaturzeniami. Wszystkie uczelnie zainwestowały krocie w „robienie ewaluacji”. Zatrudniono specjalistów rekomendujących różnorodne triki w hodowli ogonów. Kupione zostały drogie systemy informatyczne przygotowujące optymalne listy publikacji. Wyasygnowano ogromne pieniądze na nagrody i opłaty za publikowanie w czasopismach, które mają dużo punktów, a jednocześnie są stosunkowo łatwo dostępne. Naukowcy tracą czas na niepotrzebną zupełnie buchalterię punktową. A efekt całego procesu jest tylko taki, że większość jednostek uzyskała ocenę, która absolutnie nic nie zmienia. Ministerialne kategorie nikogo nie obchodzą, dopóki ktoś nie wypadnie z łask ministra (jak mój instytut, ale o tym kiedy indziej – sprawa toczy się już w sądzie). Mamy więc ogromną inwestycję pracy, czasu i pieniędzy w proces, który nie prowadzi do niczego sensownego.
Polityki naukowej nie zastąpi wyliczanie punktów przyznawanych w nietransparentny i poddający się łatwym manipulacjom sposób. Takie punkty raczej przeszkadzają w sensownym planowaniu rozwoju naukowego. Poziom naukowy nieustannie podlega ocenie i ministerstwo jest do tego rzadko, jeśli w ogóle, potrzebne. Oceniamy się w ramach procedur awansowych. Są przecież dogłębne procesy recenzji, wieloetapowe procedury i komisje. Są też recenzje w niezależnych agencjach grantowych, krajowych i międzynarodowych. Są wreszcie recenzje w czasopismach i przynajmniej niektórych wydawnictwach, a także przy zgłoszeniach na konferencje, w trakcie których też dostajemy ciągle uwagi. Do tego wszystkiego urzędnicy nie są potrzebni.
Co mogłoby zrobić ministerstwo w zamian? Rozpocząć konsultacje, ale tym razem z realnym udziałem związków zawodowych i komitetów PAN, dotyczące wypracowania lepszych standardów oceny okresowej pracowników naukowych, dających pracownikom dobrą informację zwrotną, a także ocen prowadzenia studiów. Kontrowersje wobec ocen wydawanych przez Polską Komisję Akredytacyjną nowym wydziałom lekarskim świadczą o tym, że jest tu sporo do zrobienia. Warto też zastanowić się, czy obecne metody wyliczania wysokości subwencji dla uczelni są naprawdę projakościowe, tutaj powinny zostać przeprowadzone dokładne i transparentne analizy. W istocie np. umiędzynarodowienie odgrywa rolę kwiatka do kożucha, bo w nieznacznym stopniu pozwala na rozbudowanie programów nauczania w językach kongresowych.
Przejrzystość – łącznie z pełnym ujawnieniem danych zebranych w trakcie ewaluacji, ocen i opinii eksperckich (mimo że ustawa jest tutaj niedopracowana, to moim zdaniem, mogłyby pozostać zanonimizowane po odpowiednim dostosowaniu prawa) – wydaje się kluczowa, jeśli mamy mówić o odpowiedzialności za wydatkowanie publicznych środków.
Ewaluacja jest w tej perspektywie zbędnym wydatkiem, jeśli ma służyć aktywizacji zawodowej naukowych nierobów. To źle wydane pieniądze, które powinny pójść na solidne dofinansowanie NCN oraz pensje dla asystentów i adiunktów, bo niedługo nie będzie komu uczyć. Specjaliści pomagający generować sprawozdania do ewaluacji powinni raczej pomagać w pisaniu i realizacji projektów badawczych, zwłaszcza międzynarodowych. Krajowy Punkt Kontaktowy pracuje na pełnych obrotach, ale ma za mało środków, aby informacje o wszystkich programach zapewniających dofinansowanie międzynarodowe docierały do zainteresowanych.
Jeśli chcemy dobrej polityki naukowej, musimy skupiać się na pracownikach naukowych i strategii rozwoju jednostek naukowych. Tak jak retuszowanie zdjęcia drogi nie naprawi w niej prawdziwych dziur, tak optymalizacja wyników publikacyjnych nie poprawi poziomu polskiej nauki.
Marcin Miłkowski, Instytut Filozofii i Socjologii PAN
