logo
FA 12/2020 życie akademickie

Maciej Duszczyk

Czy są nam potrzebne?

O rankingach uniwersyteckich słów kilka

Czy są nam potrzebne? 1

Fot. Stefan Ciechan

Temat rankingów międzynarodowych był poruszany na łamach „Forum Akademickiego” wielokrotnie. Wydaje się jednak, że nie został wyczerpany, a wręcz odwrotnie – dyskusja o użyteczności i wiarygodności rankingów, także w kontekście pandemii koronawirusa, przybiera na sile.

Tylko w październiku 2020 roku odbyło się kilka seminariów, podczas których dyskutowano m.in. zmieniające się metodologie, sposoby zapobiegania oszustwom czy też możliwości zbierania danych w czasie zamknięcia uczelni. Na pewno rankingi w roku 2021 zostaną oparte na zmodyfikowanej metodologii dostosowanej do czasu lockdownu, ograniczenia mobilności, współpracy międzynarodowej czy też zainteresowania podejmowaniem studiów za granicą. Cel mojego tekstu jest jednak inny. Chciałbym podzielić się doświadczeniem ostatnich czterech lat pełnienia funkcji prorektora ds. naukowych Uniwersytetu Warszawskiego, który poświecił wiele czasu, aby rankingi zrozumieć i dostarczyć rektorowi argumentów za i przeciw, niezbędnych do podjęcia decyzji czy przejmować się wynikami rankingów, czy też nie. Czy na podstawie ich wyników należy wdrażać zmiany na uczelni, czy traktować je po prostu jako ciekawostkę, która żyje na uczelni i w mediach dzień, dwa, a potem znika. Skupię się tylko na rankingach ogólnych, pomijając specyfikę porównań dyscyplinowych (by subject). Wyjątkiem w tym zakresie będzie jedynie ranking „Perspektyw” – w tym wypadku odniosę się do porównania i oceny kierunków studiów.

Popularność rankingów w Polsce

Obecnie na świecie mamy do czynienia z rosnącą konkurencją pomiędzy rankingami. Nie powinno to dziwić, ponieważ jest to po prostu dobry biznes, przynoszący coraz większe zyski. Z analizy popularności rankingów w Polsce wynika, że zdecydowanie na pierwszym miejscu znajduje się nasz lokalny ranking, przygotowywany przez Wydawnictwo Edukacyjne Perspektywy Press Sp. z o.o., zwany popularnie rankingiem „Perspektyw”. Po publikacji wyników jest on szeroko komentowany w mediach – co roku ukazuje się kilkadziesiąt artykułów oraz kilkaset wzmianek zarówno w mediach tradycyjnych, jak i społecznościowych. Na drugim miejscu, choć już z o wiele gorszym wynikiem, jest Academic Ranking of World Universities zwany rankingiem szanghajskim. W polskich mediach tradycyjnych corocznie można znaleźć kilka artykułów, komentujących wyniki, a w mediach społecznościowych wzmianki o nim zamieszczają głównie osoby zainteresowane na co dzień zawodowo rankingami. Na kolejnych miejscach są QS Ranking, Times Higher Education Ranking oraz US News Ranking. W ich przypadku artykuły w mediach można policzyć na palcach jednej ręki. Co ciekawe wyniki tego ostatniego zostały opublikowane 20 października. W mediach ogólnopolskich nie ukazał się o tym rankingu żaden artykuł! Z polskich uczelni, jakie się w nim znalazły, na głównej stronie informację na ten temat opublikowała jedynie Politechnika Łódzka. Mój komentarz na Twitterze, pokazujący miejsce Uniwersytetu Warszawskiego, w tym ocenę poszczególnych dyscyplin, spotkał się z bardzo niewielkim zainteresowaniem. Tak naprawdę oznacza to, że dla opinii publicznej w Polsce liczą się tylko ranking „Perspektyw” oraz ranking szanghajski. Wyniki publikowane przez pozostałe instytucje mają absolutnie marginalne znaczenie dla postrzegania uczelni. Interesują się nimi jedynie władze rektorskie, niektórzy pracownicy naukowi i osoby odpowiedzialne za tzw. politykę rankingową – o ile takie osoby są w ogóle zatrudnione w uczelniach. Nie powinno to jednak prowadzić do konkluzji, że rankingami można się nie zajmować. Szczególnie władze uczelni, które mają ambicje włączania się w konkurencję międzynarodową, w pozyskiwanie poza krajem badaczy, doktorantów czy studentów, muszą uwzględniać w swoich kalkulacjach ich wyniki. Z analizy danych rankingowych można bowiem wysnuć wiele ciekawych informacji o postrzeganiu danej uczelni przez tzw. międzynarodowe środowisko akademickie oraz o słabościach i przewagach w zakresie kształcenia czy badań naukowych. Zainteresowanie rankingami jest zdecydowanie obowiązkiem władz uczelni badawczych, ale powinno być również ważne dla innych typów uczelni w Polsce.

Uniwersytet Warszawski w rankingach

Na początku urzędowania jako prorektor UW postanowiłem stworzyć mały, profesjonalny zespół analityczny, którego celem było monitorowanie ewolucji wskaźników pokazujących postęp lub regres w zakresie działalności badawczej, w tym analizy miejsca UW w rankingach oraz możliwości jego poprawy. Jego doświadczenie bardzo się przydało przy opracowywaniu wniosku do konkursu „Inicjatywa Doskonałości – Uczelnia Badawcza”. Mogę zaryzykować stwierdzenie, że w dużej mierze praca tego zespołu przyczyniła się do wygranej w tej rywalizacji. Oczywiście kwestia rankingów w polityce uniwersyteckiej miała ważne, ale jednak drugorzędne znaczenie. Tym niemniej zdecydowaliśmy się na poświęcenie czasu by zrozumieć metodologię i sprawdzić, na ile nasze działania prowadzone na uczelni mogą poprawić jej pozycję w poszczególnych rankingach. Przyjęliśmy dwie perspektywy: międzynarodową i krajową. W pierwszej dokonywaliśmy porównań z innymi uczelniami z naszego regionu geograficznego, a w drugiej analizowaliśmy pozycję Uniwersytetu Jagiellońskiego. To drugie zadanie było trudne, głównie ze względu na to, że częścią UJ jest Collegium Medicum, co wpływa na wynik działalności badawczej, w tym na miejsce w rankingach. Jak wiadomo, Uniwersytet Warszawski prowadzi badania w medycynie jedynie w bardzo ograniczonym zakresie, a federacja z Warszawskim Uniwersytetem Medycznym, która zmieniłaby tę sytuację, została zatrzymana z powodu oporu części środowiska akademickiego obu uczelni. Dokonywaliśmy jednak porównań pomiędzy miejscami obu uczelni w rankingach oraz czynników o tym decydujących, w tym przede wszystkim tzw. „research output”, a także reputacji wśród naukowców, przedsiębiorców i administracji publicznej.

W perspektywie regionalnej Uniwersytet Warszawski we wszystkich rankingach znajduje się w pierwszej trójce lub czwórce uczelni z Europy Środkowo-Wschodniej. Zdecydowanie prowadzi Uniwersytet Karola w Pradze. W niektórych rankingach wyprzedza nas również Uniwersytet w Tartu (Estonia) oraz Uniwersytet Jagielloński. W przypadku tradycyjnej, ale przyjacielskiej, rywalizacji pomiędzy UW i UJ sytuacja zmienia się co roku – raz jeden jest na lepszej pozycji, a raz drugi. Przykładowo w roku 2020 Uniwersytet Warszawski wygrywał w trzech na pięć analizowanych rankingów. W poszczególnych latach uczelnie zamieniały się miejscami w rankingach. W roku 2019 UJ był wyżej od UW w rankingach szanghajskim oraz QS. Natomiast w 2020 w rankingu Perspektyw oraz THE. Szczegóły porównania znajdują się w poniższej tabeli.

Pozycja w wybranych rankingach Uniwersytetów Warszawskiego oraz Jagiellońskiego

Czy są nam potrzebne? 2

Źródło: Opracowanie własne na podstawie rankingów publikowanych na stronach internetowych

Co wpływa na pozycję Uniwersytetu Warszawskiego w poszczególnych rankingach?

Największe znaczenie dla postrzegania uczelni przez polską opinię publiczną ma ranking „Perspektyw”. Pozycje poszczególnych uczelni oraz kierunków studiów powinny zatem być w tym zestawieniu bardzo wiarygodne. Pomyłki, choć na pewno nie do uniknięcia, muszą być wyjątkami. Konieczne jest olbrzymie zaufanie środowiska naukowego do jego wyników. W innym przypadku traci on znaczenie jako realny punkt odniesienia dla decyzji podejmowanych zarówno na poziomie uczelni, jak i przez kandydatów na studia. Dlatego też poświęcę mu najwięcej miejsca, ale zacznę od krótkiej analizy pozostałych rankingów.

Ranking szanghajski

W ostatnim rankingu Uniwersytet Warszawski zajął miejsce pomiędzy 301-400 czyli „przeskoczył” z piątej do czwartej setki. Jednocześnie tak naprawdę poprawiliśmy swoją lokatę o kilka pozycji. Uniwersytet Jagielloński zanotował w rankingu 2020 znaczący spadek, podobnie jak UW rok wcześniej. Wynikało to głównie z wypadnięcia jednego naukowca z UJ z listy Highly Cited Researchers (https://clarivate.com/tag/highly-cited-researchers/). Obecnie ani UW ani UJ nie ma w tym zestawieniu żadnego przedstawiciela. Jest tam tylko czterech Polaków, z których trzech pracuje na uniwersytetach medycznych. Poprawa pozycji UW w roku 2020 wynikała głównie z przyznania Oldze Tokarczuk Nagrody Nobla, co poprawiło punktację we wskaźniku „Alumni”. Poprawiliśmy też punktację we wskaźniku publikacji w czasopismach „Nature” i „Science”. Jednocześnie w kryterium PCP (Per Capita Performance) dostaliśmy o 7,1 pkt. mniej niż w roku 2019. Podobnie się stało w przypadku UJ, który otrzymał o 9,3 pkt. mniej. Inne polskie uczelnie, które znalazły się w rankingu (poza Śląskim Uniwersytetem Medycznym) również otrzymały niższą punktację (zmiana jednak nie była tak drastyczna, jak w przypadku UW i UJ). Zadaliśmy sobie pytanie, jak to było możliwe. Wobec braku zmian metodologicznych oraz jednoczesnej poprawy wyników UW w innych kryteriach, wskazywałoby to na różnice w danych źródłowych odnośnie do liczby nauczycieli akademickich. Zwróciliśmy się z tym pytaniem do osób odpowiedzialnych za metodologię rankingu szanghajskiego. Okazało się, że w roku 2020 dla polskich uczelni po raz pierwszy do obliczenia wskaźnika PCP zostały użyte statystyki zawarte w POL-on. W ubiegłych latach, przy braku danych dotyczących liczby nauczycieli akademickich, zgodnie z publikowaną metodologią ARWU stosował wyniki ważone pozostałych pięciu wskaźników. W naszym przypadku użyta przez ARWU liczba nauczycieli akademickich była niższa od faktycznie zatrudnionych na UW o prawie 700 osób. Nie uwzględniono m.in. pracowników zatrudnionych na stanowiskach dydaktycznych (np. lektorów, instruktorów oraz zatrudnionych na stanowisku docenta). W rankingu ARWU zadziałało to na korzyść uczelni. W kryterium PCP uzyskaliśmy więcej punktów, niż gdyby ujęto wszystkich pracowników. Jednocześnie należy założyć, że stosując poprzednią metodologię (średniej ważonej pozostałych pięciu wskaźników) wynik UW byłby lepszy. Na marginesie trzeba zauważyć, że w zależności od uwzględnienia liczby pracowników w poszczególnych kryteriach w rożnych rankingach może to być korzystne lub też nie z punktu widzenia miejsca danej uczelni w rankingu. Kiedy mamy do czynienia z rankingiem biorącym pod uwagę głównie badania, należałoby ujmować tylko pracowników badawczych i badawczo-dydaktycznych. Jeżeli jednak uwzględniana jest także aktywność dydaktyczna uczelni, to powinni być podawani wszyscy pracownicy. Jednocześnie przekazanie w jednym roku niepełnych danych będzie miało wpływ na miejsce uczelni w kolejnych edycjach rankingu. Może się to okazać bardzo negatywne. W przypadku miejsc w czwartej czy piątej dziesiątce liczą się bowiem poszczególne, pojedyncze punkty. Tak więc trzeba dołożyć wszelkich starań, aby przekazywać odpowiednie dane, tak aby odnotowywać ewentualne niewielkie wzrosty, a nie spadki rok do roku. W innym przypadku może się okazać, że w kolejnym roku oba polskie uniwersytety wypadną z Top 500. Byłaby to katastrofa wizerunkowa, na którą zdecydowanie nie możemy sobie pozwolić.

Podsumowując, w przypadku rankingu szanghajskiego poprawa pozycji uczelni zależy od kilku czynników, które niezmiernie trudno osiągnąć. Trudno się bowiem spodziewać, że w kolejnych latach zwiększy się liczba Polaków, którzy otrzymają nagrodę Nobla, albo że osoby takie zostaną zatrudnione na naszych uczelniach. Także liczba Highly Cited Researchers nie zwiększy się znacząco. Trudno również liczyć na to, że liczba publikacji w Nature i Science bardzo szybko wzrośnie. Pozostaje zatem zadbać o inne wskaźniki, które pozwoliłyby polskim uczelniom nie tyle poprawiać swoje pozycje, ile w ogóle być odnotowywanym w ARWU. Oczywiście możliwa jest strategia, której zastosowanie pozwoliłoby na znaczącą poprawę pozycji w rankingu. Musiałoby się to jednak wiązać z bardzo dużymi nakładami na przyciągnięcie do polskich uczelni najwybitniejszych i najczęściej cytowanych uczonych. Rywalizacja w tym zakresie jest jednak olbrzymia. W mojej opinii próba wdrożenia takiej strategii byłaby błędna i wpisywałaby się w politykę uczelni z Półwyspu Arabskiego czy Chin. Byłoby to sztuczne, krótkookresowe „pompowanie” pozycji polskich uczelni, w dłuższej perspektywie zapewne skazane na porażkę. Można bowiem przypuszczać, że po krótkookresowej poprawie notowań, po wyjeździe hipotecznego „noblisty”, pozycja danej uczelni znacząco spadnie.

Ranking QS

W 2020 roku Uniwersytet Warszawski zajął 321. miejsce (skok o 28 pozycji z 349. miejsca w roku 2019). Na poprawę miały wpływ lepsze wyniki we wskaźnikach: Academic Reputation (+3,3 pkt.) oraz Employer Reputation (+1,8 pkt.). W przypadku pozostałych wskaźników sytuacja albo się nie zmieniła, albo też zanotowaliśmy niewielkie pogorszenie. Nie zawsze spadek wynika z gorszej sytuacji na uczelni. Przykładowo we wskaźnikach International Faculty i International Students wskaźniki uległy poprawie (wskaźnik International Faculty w 2019 r. wynosił 5,27%, a 2020 – 5,45%), ale nie przełożyło się to na punkty w rankingu. Prawdopodobnie inne uczelnie w tym samym czasie dokonały większych postępów niż my. Wysłaliśmy do QS World University Ranking prośbę o rozwianie wątpliwości w tej kwestii. Okazało się, że nasze podejrzenia były słuszne.

W porównaniu do Uniwersytetu Jagiellońskiego lepsze wyniki osiągnęliśmy w kategoriach: Academic Reputation, Employer Reputation, Citations per Faculty oraz International Faculty. Natomiast gorsze wyniki we wskaźnikach: Faculty-Student Ratio i International Students. Uniwersytet Jagielloński zajął w tym rankingu 326. miejsce (awans o 12 pozycji). Tak więc o lepszej pozycji Uniwersytetu Warszawskiego zadecydował większy skok (28 do 12 pozycji).

Podsumowując, w przypadku tego rankingu kluczowe jest dobre postrzeganie przez międzynarodowe środowisko akademickie oraz pracodawców. Albowiem wskaźniki reputacyjne (academic i employer reputation) mają dokładnie połowę wagi. Postęp w pozostałych wskaźnikach ma zatem mniejsze znaczenie. Tak więc jeżeli uczelnia chce odnieść sukces w tym rankingu musi skupić się na działaniach z zakresu promocji i budowania reputacji. Na sukces Uniwersytetu Warszawskiego w tym zakresie na pewno miało wpływ uczestnictwo w sojuszu uniwersytetów europejskich 4EU+ oraz intensywna promocja międzynarodowa uczelni przez ostatnie cztery lata.

Ranking US News

W najnowszym wydaniu Rankingu US News Uniwersytet Warszawski zajął 301. miejsce. Zanotowaliśmy więc spadek o 15 pozycji (w 2019 zajmowaliśmy 286. miejsce). Jednocześnie liczba punktów jakie zebraliśmy wzrosła o 0,4 pkt. i wyniosła w 2020 roku – 57,8 pkt. Oznacza to, że poprawa wskaźników była za mała, aby utrzymać czy też poprawić pozycję sprzed roku. Utrzymaliśmy jednak pozycję najlepiej ocenianej uczelni w Polsce. Uniwersytet Jagielloński poprawił swoje miejsce względem ubiegłego roku i ostatecznie zajął 329. pozycję. Oznacza to przesunięcie się o 14 miejsc w górę (w roku 2019 UJ znajdował się na 343. miejscu). Jeżeli ta tendencja się utrzyma, należy założyć, że w kolejnym roku zajmie wyższą pozycję niż Uniwersytet Warszawski. Analiza wyników w poszczególnych kryteriach pokazała, że poprawiliśmy swój wynik w trzech z nich: Books (+94 pozycji); Conference Proceedings (+24 pozycji) oraz Global Reputation (+32 pozycji). Największy spadek zanotowaliśmy natomiast w kryterium Percentage of total publications that are among the 10 percent most cited, w którym przesunęliśmy się w dół aż o 160 pozycji. Jednocześnie spośród wszystkich kryteriów jesteśmy najlepiej oceniani w kryterium International collaboration – relative to country (odsetek publikacji UW z zagranicznymi współautorami podzielony przez odsetek publikacji z zagranicznymi współautorami dla Polski). Zajmujemy w nim 58 pozycję na świecie. Oznacza to, że celem uczelni powinno być stymulowanie współpracy pomiędzy naukowcami zatrudnionymi na UW a naukowcami z innych krajów, ponieważ zwiększa to prawdopodobieństwo opublikowania wyników prac badawczych w najlepszych i najczęściej cytowanych periodykach na świecie. W przypadku Uniwersytetu Jagiellońskiego największy wzrost pozycji odnotowano w kryteriach: Normalized citation impact (+26 pozycji) oraz Percentage of highly cited papers that are among the top 1 percent most cited (+22 pozycji). Była to głównie zasługa publikacji pracowników Collegium Medicum. Podobnie jak UW, nasi przyjaciele z Krakowa odnotowali najgorsze wyniki we wskaźniku Percentage of total publications that are among the 10 percent most cited, w którym zajęli 1026 pozycję na świecie (UW – 950).

Podsumowując, Ranking US News dostarcza wielu cennych informacji o pozycji danej uczelni na świecie. Jest obecnie bardzo rozbudowanym rankingiem, łączy elementy oceny reputacji danej uczelni na świecie z bardzo twardymi wskaźnikami bibliometrycznymi. Jeżeli polskie uczelnie chciałyby poprawić swoją pozycję w tym właśnie rankingu, powinny zdecydowanie skupić się na rozbudowie zdolności do publikowania wyników prac badawczych w najlepszych czasopismach i wydawnictwach na świecie, najlepiej w kooperacji z naukowcami pochodzącymi z wiodących ośrodków naukowych. Będzie to wpływało również na reputację uczelni jako ośrodka prowadzącego przełomowe badania naukowe.

Ranking Times Higher Education (THE)

W Rankingu THE polskie uczelnie wypadają zdecydowanie najsłabiej. W najnowszej edycji Uniwersytet Warszawski znalazł się w przedziale 801-1000, co oznaczało spadek z grupy 601-800. W praktyce jednak, podobnie jak w przypadku rankingu szanghajskiego, przesunięcie było niewielkie, raptem o kilka pozycji, ale skutek był odwrotny – tam przeskoczyliśmy w górę z jednej setki do drugiej, a tutaj spadliśmy. Uniwersytet Jagielloński natomiast poprawił pozycję i przesunął się z przedziału 601-800 do 501-600.

Pomimo spadku poprawiliśmy miejsce w najważniejszym dla nas kryterium jakim jest Research. We wszystkich trzech wskaźnikach jakie się na nie składają (Papers to academic staff, Research income to academic staff, Research reputation) odnotowaliśmy postęp. W tej kategorii UW uplasował się na 491. miejscu, odnotowując wzrost o 80 pozycji.

Najgorszą tendencję zaobserwowaliśmy w kryterium Citation impact (z wagą 30%). W tej kategorii spadliśmy aż o 208 pozycji i znaleźliśmy się na 963. miejscu na świecie. Głębsza analiza pokazała, że w przypadku UW za najczęściej cytowane prace odpowiadają nauki fizyczne (fizyka i astronomia – 61,7% cytowanych publikacji), a w przypadku UJ – nauki medyczne (35,9% cytowanych publikacji). Ponownie pokazuje to, że bez rozbudowy zdolności UW do publikowania wyników badań z zakresu medycyny niezmiernie trudne lub nawet niemożliwe będzie poprawienie pozycji w tym rankingu. Potwierdzeniem tej hipotezy jest uwzględnienie po raz pierwszy w rankingu Warszawskiego Uniwersytetu Medycznego. Uczelnia ta została sklasyfikowana w jednej z jedenastu dziedzin, a w jej ramach tylko w dwóch obszarach. Tak więc istnieje ryzyko, że przy niewielkiej zmianie metodologii WUM wypadnie z rankingu. A więc federacja z UW i w konsekwencji ocenianie wspólne osiągnięć naukowych obu uczelni wpłynęłoby pozytywnie na uwzględnianie dorobku z zakresu nauk medycznych, a więc i na pozycje w rankingu. Nastąpiłoby to jednak w średniej perspektywie czasowej. Należy przyjąć, że federacja UW i WUM zajęłaby pozycję w trzeciej lub czwartej setce rankingu.

Na niekorzyść uniwersytetów klasycznych działa w tym zestawieniu również kryterium Industry income. W roku 2020 UW uplasował się na 1224. miejscu, co oznaczało spadek o 76 pozycji. Stało się tak mimo tego, że osiągnęliśmy o wiele wyższą wartość absolutną przychodów komercyjnych w sprawozdawanym okresie. Oznacza to, że inne uczelnie o wiele szybciej niż my rozwijają się w obszarze współpracy z przedsiębiorcami reprezentującymi sektor przemysłowy.

Podsumowując, Ranking THE bierze pod uwagę bardzo zróżnicowane kryteria, co działa na korzyść uniwersytetów prowadzących praktycznie wszystkie obszary działalności naukowej i dydaktycznej, w tym mają rozbudowane sieci współpracy z przedsiębiorstwami z sektora przemysłu. Dlatego też polskim, rozdrobnionym uczelniom niezmiernie trudno będzie znacząco awansować w tym rankingu. Możliwe byłoby to dopiero w dłuższym okresie, przy założeniu konsolidacji różnych typów uczelni. W przypadku Warszawy oznaczałoby to np. połączenie UW, WUM, PW oraz SGGW. Taka uczelnia, po wyeliminowaniu dyscyplin, które są uprawiane na gorszym poziomie w jednej uczelni niż w innej, miałaby szansę na znalezienie się w drugiej setce rankingu. Trudno jednak wyobrazić sobie taką fuzję w najbliższych latach.

Ranking Perspektyw

Ranking „Perspektyw”, publikowany od dwudziestu lat, jest zdecydowanie najczęściej omawianym i komentowanym zestawieniem uczelni oraz kierunków studiów w Polsce. Jego niewątpliwą zasługą jest upowszechnienie problematyki rankingowania uczelni w Polsce oraz prace nad doskonaleniem metodologii. Praktycznie wszystkie uczelnie publikują wyniki rankingu na swoich stronach internetowych. Należy również założyć, że wyniki, szczególnie w zakresie kierunków studiów, są podstawą do podejmowania przez absolwentów szkół średnich decyzji co do dalszej drogi edukacyjnej. Przyznają to twórcy rankingu w erracie, jaka ukazała się na stronach internetowych w kilka tygodni po opublikowaniu wyników. Dlatego też rzetelność w jego przygotowywaniu oraz wiarygodność prezentowanych wyników powinny być jak największe.

Ranking należy obecnie do najbardziej rozbudowanych na świecie, co niestety okazało się w ostatnich latach jego słabością. Twórcy zestawienia analizują 7 kryteriów, na które składa się 28 wskaźników. Siła poszczególnych kryteriów waha się od 28% (Academic Effectivenes) do 8% (Innovation). Dane zbierane są zarówno z baz międzynarodowych, takich jak Scopus (Elsevier), jak i krajowych, m.in. POL-on. Niestety tak szerokie spectrum kryteriów oraz baz danych powoduje liczne pomyłki w wynikach osiąganych zarówno przez poszczególne uczelnie, jak i kierunki studiów. Szczególnie dotyczy to danych z systemu POL-on, który w ostatnich miesiącach przechodził radykalne reformy, a rzetelność zawartych w nich danych była bardzo wątpliwa. W wielu przypadkach są one także niepełne. Wskutek tego w ostatniej edycji rankingu korekty musiały zostać dokonane w przypadku aż 203 kierunków studiów, z czego najwięcej, bo aż 57 razy, w naukach technicznych. Dotyczyło to też sześciu kierunków, w których zmiany nastąpiły na pierwszych miejscach, a mianowicie: archeologii, automatyki i robotyki, budownictwa, dziennikarstwa i komunikacji, fizyki technicznej, geodezji i kartografii oraz informatyki. Wyjaśnienia wymaga kwestia uwzględnienia na liście tych kierunków archeologii. W erracie bowiem znajduje się informacja o przyznaniu pierwszego miejsca Uniwersytetowi im. Adama Mickiewicza, tymczasem w samych wynikach rankingu zmiana ta nie została uwzględniona. Nadal widnieje Uniwersytet Jagielloński. Zgodnie z informacją z erraty obie uczelnie powinny być sklasyfikowane na miejscu pierwszym. Jest to kolejne potwierdzenie, że z rankingiem edycji 2020 mieliśmy duże problemy. Pewnym usprawiedliwieniem takiego stanu rzeczy jest przygotowanie rankingu w warunkach pandemii koronawirusa. W erracie do tegorocznych wyników autorzy piszą, że na wiarygodność rankingu wpłynęła także konieczność uwzględnienia zmian wprowadzonych do szkolnictwa wyższego ustawą z 20 lipca 2018 roku (której efektem jest m.in. brak w systemie POL-on danych dotyczących wydziałów). Niestety uwzględnienie tej zmiany okazało się niemożliwe w krótkim czasie, co spowodowało problemy w zbieraniu i analizie danych wyjściowych. Jednocześnie należy zdawać sobie sprawę, że pomyłki w Rankingu Perspektyw zdarzały się też w przeszłości. Przykładowo w roku 2019 kierunek psychologia na Uniwersytecie Warszawskim został sklasyfikowany na odległym miejscu. Po zgłoszeniu zastrzeżeń znalazł się na miejscu pierwszym. Niestety w praktyce tej korekty nikt nie zauważył, a sygnał wysłany do opinii publicznej był jednoznaczny – jeżeli chcesz studiować psychologię, to raczej nie na UW. Ówczesna dziekan musiała zmierzyć się z wieloma negatywnymi opiniami na temat jej pracy i tłumaczyć, że zaszła pomyłka. To pokazało z jednej strony siłę rankingu, a z drugiej konieczność zwracania olbrzymiej uwagi na prezentowane wyniki. Na pozytywne podkreślenie zasługuje fakt, że autorzy rankingu zdali sobie sprawę z problemów i zarówno w 2019, jak i 2020 szybko opublikowali korekty. Z powodów wyżej zaprezentowanych miało to już marginalne znaczenie. Warto było rozważyć rezygnację z tegorocznej edycji rankingu i skupić się na pracach metodologicznych, aby w 2021 roku opublikować dopracowane i rzetelne wyniki. Przeważyła prawdopodobnie chęć zaprezentowania wyników jubileuszowej, dwudziestej edycji. Okazało się to błędem. Jednocześnie władze Uniwersytetu Warszawskiego stanęły przed podobnym dylematem. Zastanawialiśmy się, znając ryzyka, z jakimi wiązać się będzie opublikowanie wyników rankingu w tym roku, czy nie poinformować organizatorów o wycofaniu się z tegorocznej edycji. Ostatecznie postanowiliśmy tego nie robić, głównie ze względu na to, aby ruch ten nie był wykorzystywany w toczącej się kampanii wyborczej na uczelni oraz z konieczności bardzo konkretnego uzasadnienia takiej decyzji, na co po prostu w czasie pandemii nie mieliśmy czasu.

Przejdźmy teraz do analizy wyników rankingu. Uniwersytet Warszawski został sklasyfikowany na drugim miejscu, co oznacza spadek w porównaniu z poprzednim rokiem. To oczywiście nie jest żaden problem. Jak pokazałem wcześniej, Uniwersytet Jagielloński zajmuje w kilku wskaźnikach wyższą pozycję, a rywalizacja czy nawet konkurencja pomiędzy nami jest potrzebna, ponieważ stymuluje obie uczelnie do działań mających na celu podnoszenie jakości badań, dydaktyki czy też zabierania głosu w kluczowych dla Polski sprawach. Zaskoczyła nas jednak punktacja. Od wielu lat różnica punktowa pomiędzy UW i UJ była minimalna. Jeden czy drugi uniwersytet wygrywał o przysłowiowy włos. Tym razem jednak przegraliśmy „aż” o 4,4 punktu. Może wydawać się to niewiele, ale w kilku poprzednich edycjach różnica pomiędzy oboma uczelniami wynosiła około jednego punktu. Zatem zasadne jest pytanie, co takiego się zdarzyło w ciągu jednego roku, że tak „bardzo” odstajemy od UJ? Niestety analiza rankingu nie pozwoliła odpowiedzieć na to pytanie. Wręcz odwrotnie, wywołała wiele dodatkowych pytań.

Pogorszenie wyników UW odnotowano w 14 z 28 wskaźników. W porównaniu do zeszłego roku największe spadki dotyczą takich wskaźników: Patenty i prawa ochronne w Polsce – z 7,23 pkt. do 1,22 pkt., Rozwój kadry własnej – z 70,38 pkt. do 43,30 pkt, Cytowania na podstawie bazy Scopus 2015-19 – z 80,53 pkt. do 61,76 pkt. Z punktu widzenia uczelni badawczej istotne znaczenie ma tylko ten trzeci wskaźnik. Dwa pozostałe można pominąć. Jednocześnie w ośmiu wskaźnikach UW osiągnął lepsze wyniki, z czego znakomita poprawa – o 22,72 pkt. – nastąpiła w przypadku wskaźnika publikacji (liczba publikacji uwzględnionych w Scopus w latach 2015-2019 w stosunku do ogólnej liczby nauczycieli akademickich). Oznacza to, że byliśmy w tym czasie bardzo efektywni, a przypomnę, że generalnie nie publikujemy wyników badań w medycynie.

Przyjrzyjmy się teraz wynikom porównania UW z UJ. UW wykazał się znacznie lepszymi wynikami w porównaniu z UJ we wskaźnikach:

Efektywność pozyskiwania zewnętrznych środków finansowych na badania (36,94 pkt. przewagi);

Nauczyciele akademiccy z zagranicy (18,5 pkt. przewagi);

Wielokulturowość środowiska studenckiego (10 pkt. przewagi);

Nasycenie kadry osobami o najwyższych kwalifikacjach (9,93 pkt. przewagi);

Ekonomiczne losy absolwentów (8,39 pkt. przewagi).

UJ natomiast osiągnął znacznie lepsze wyniki we wskaźnikach:

Patenty i prawa ochronne za granicą (86 pkt. przewagi);

Publikacje (17,47 pkt. przewagi);

Field-Weighted Citation Impact (11,65 pkt. przewagi);

Ocena parametryczna (10,47 pkt. przewagi);

Dostępność kadr wysoko kwalifikowanych (10,57 pkt. przewagi);

Ocena przez kadrę akademicką (8,84 pkt. przewagi);

Oznacza to, że UW osiągnął lepsze wyniki w przypadku większości wskaźników charakterystycznych dla uczelni badawczych. Nie pozwoliło to jednak na zajęcie pierwszego miejsca, ponieważ to inne wskaźniki miały większy wpływ na ostateczne rezultaty.

Od poprzedniej edycji rankingu zmieniła się metodologia jego sporządzania. Dodano dwa nowe wskaźniki: Field-Weighted View Impact (liczba odsłon publikacji uczelni w Scopus) i wyodrębniono wskaźnik liczby patentów i praw ochronnych za granicą. Nie umiem jednak zrozumieć, dlaczego to uczyniono. Przecież wskaźnik odsłon można dowolnie „pompować”, wystarczy tylko wiedzieć, że trzeba to robić. Od poprzedniej ewaluacji wiadomo, że liczba patentów jest to jeden z najbardziej patologicznych wskaźników. Komisja Ewaluacji Nauki pracuje nad zmianami, aby nie dochodziło do sztucznego nabijania punktów poprzez rejestrację patentów, które nic nie znaczą, ale można za nie uzyskać lepszą ocenę parametryczną. Autorzy rankingu „Perspektyw” powinni wziąć ten fakt pod uwagę. Z innych zmian metodologii można wspomnieć o usunięciu wskaźnika poziomu środków pozyskanych z UE oraz zmianie wag kilku innych wskaźników: oceny przez kadrę akademicką, preferencji pracodawców, ekonomicznych losów absolwentów, efektywności pozyskiwania zewnętrznych środków finansowych na badania, publikacji. Niestety nie wiadomo, co stało za tymi decyzjami. Jedynie w przypadku usunięcia wskaźnika poziomu środków pozyskanych z UE wskazano na brak informacji na ten temat w bazie danych POL-on, co uniemożliwiło obliczenia. Ale przecież, jak już wskazałem powyżej, także wiele innych danych z POL-onu w pierwszym półroczu 2020 roku było niepełnych. Nie uzasadnia to zatem rezygnacji z tego wskaźnika, a jeżeli tak, to podobna sytuacja powinna zajść w przypadku kilku innych wskaźników.

Nie chcąc zanudzać czytelników kolejnymi szczegółami i niejasnościami, jakie narosły wobec rankingu „Perspektyw”, pozwolę sobie jeszcze na dwa przykłady. Zgodnie z analizą wyników rankingu najwyższą ocenę we wskaźniku publikacji w 10% najlepszych czasopism uzyskała Akademia Pedagogiki Specjalnej im. Marii Grzegorzewskiej! To jest dobra uczelnia pedagogiczna, ale czy naprawdę najlepsza w Polsce pod kątem publikacji w najbardziej poczytnych czasopismach? Wyjaśnienie tego fenomenu przynosi pogłębiona analiza danych, jakie zostały wzięte pod uwagę przy sporządzaniu rankingu oraz jego metodologia. Otóż pracownicy Akademii opublikowali w raportowanym okresie 61 publikacji, z których 13 znalazło się w top-10% czasopism. W tym samym okresie UW miało takich publikacji 3825 (26,61% wszystkich publikacji), a UJ – 4452 (25,71% wszystkich publikacji) – dane SciVal sierpień 2020. Można zatem jednoznacznie skonkludować, że używanie relacji procentowej do pokazywania pozycji uczelni bez podania wartości liczbowych jest zdecydowanie mylące i powinno być natychmiast zmienione. Brak punktu odcięcia, co jest stosowane przez wszystkie liczące się rankingi na świecie, powoduje, że ranking porównuje i w konsekwencji szereguje uczelnie, których tak naprawdę nie można porównywać, bo mowa jest o bardzo różnej skali działalności naukowej. Z bardzo podobną sytuacją mieliśmy do czynienia w innych wskaźnikach. W czasie ostatniej konferencji „Impact of Science” organizowanej przez AESIS (Network for Advancing and Evaluating the Societal Impact of Science) we współpracy z Akademią Górniczo-Hutniczą oraz Ministerstwem Nauki i Szkolnictwa Wyższego, David Sweeney, prezydent Research England stwierdził, że wiele rankingów oraz systemów ewaluacji popełnia błąd porównywania jabłek z pomarańczami. Zdecydowanie pięć jabłek nie jest lepsze od trzech czy pięciu pomarańczy. Powinniśmy to wziąć pod uwagę nie tylko przy dyskusji o rankingu „Perspektyw”, ale również przy tworzeniu systemu ewaluacji jakości naukowej w Polsce.

Podsumowując, z analizy wyników rankingu „Perspektyw” niewiele można się dowiedzieć, a zatem na jej podstawie nie można podejmować decyzji co do kierunku rozwoju uczelni. Zbyt liczne kryteria i wskaźniki, porównywanie uczelni o bardzo różnym charakterze, korzystanie z baz, które przechodząc zmiany nie zawierają rzetelnych danych, pomyłki rachunkowe i merytoryczne oraz niemożliwość dostosowania metodologii do zmieniających się realiów prawnych (ocena dyscyplin, a nie wydziałów) spowodowały, że ranking „Perspektyw”, najważniejszy i najpowszechniejszy w Polsce, stał się w znacznym stopniu niewiarygodny, co do publikowanych wyników, a wiec i możliwości wyciągania na ich podstawie sensownych wniosków. Jednocześnie jest on bardzo potrzebny i projekt ten powinien być kontynuowany. W jego tworzenie i rozwój włożono wiele pracy. Byłoby bardzo źle, aby zostało to zmarnowane. Traktuję ostatnie problemy jako poważną wpadkę, którą da się naprawić, jeżeli będzie taka wola twórców rankingu. Należy się zatem wspólnie zastanowić, jak to uczynić. Proponowałbym powołanie komisji w formie tzw. Task Force pod auspicjami Konferencji Rektorów Akademickich Szkół Polskich z udziałem przedstawicieli Konferencji Rektorów Akademickich Uczelni Niepublicznych oraz Konferencji Rektorów Publicznych Uczelni Zawodowych, która zaproponowałaby zmodyfikowaną formułę przygotowywania (w tym w zakresie metodologii) i publikowania rankingu. Oczywiste jest dla mnie, że zgodzić się na takie działanie musiałby prezes Fundacji Edukacyjnej „Perspektywy”, Waldemar Siwiński, którego zasługi dla upowszechnienia rankingów w Polsce są nieocenione. Z pierwszych deklaracji jakie złożył on w czasie posiedzenia Uniwersyteckiej Komisji Nauki we wrześniu 2020 roku można sądzić, że skłonny jest podjąć szeroki dialog ze środowiskiem akademickim w tej sprawie. Wiem również, że będzie chciał się ustosunkować do mojego tekstu, gdy tylko się on ukaże. Poinformowałem bowiem o przygotowywaniu artykułu i liczę na udział prezesa „Perspektyw” w dyskusji na jego temat.

Zakończenie

Jednym z najbardziej popularnych opisów prasy jest stwierdzenie, że nie ma co się nią przejmować, ponieważ „dzisiejsze gazety znajdą się w jutrzejszych kubłach na śmieci”. Nie zgadzam się z tym stwierdzeniem. Media kształtują obraz otaczającej nas rzeczywistości i błędem jest niedostrzeganie czy lekceważenie tego faktu. Rankingi uczelni są ważnym elementem obrazu nauki i szkolnictwa wyższego. Ich wyniki rozgrzewają emocje, co prawda głównie na uczelniach, ale nie powinno to dziwić. Miejsca uczelni w danych rankingach są również świetnym kijem, pomimo że wcześniej nikt nie zaoferował marchewki. Kiedy piszę posty w mediach społecznościowych, bardzo często w reakcji na nie moi adwersarze szydzą z Uniwersytetu Warszawskiego, wyciągając miejsce w tej czy innej setce rankingów. To właśnie kij. Marchewką jest na pewno program „Inicjatywa Doskonałości – Uczelnia Badawcza”, ale na jej wyniki trzeba będzie poczekać kilka lat. Krytycy miejsca UW w rankingach nie zdają sobie jednak sprawy, że nasza pozycja oznacza w praktyce, iż znajdujemy się w gronie dwóch procent (w przypadku rankingu THE czterech procent) najlepszych na świecie uczelni. Nie ma w Polsce zbyt wielu innych branż, które mogą się tym pochwalić. Z rankingami jest jednak jak ze statystyką – bez zrozumienia metodologii można dojść do błędnych wniosków i po prostu nie da się zrozumieć, co one pokazują.

Kończąc, chciałbym bardzo mocno podkreślić, że miejscem w rankingach należy się przejmować i dlatego też postanowiłem napisać ten tekst jako kontynuację dyskusji, która rozpoczęła się jakiś czas temu. Dobrze byłoby jednak, aby używać w niej realnych argumentów opartych na wynikach pogłębionych analiz. Mam nadzieję, że udało mi się ich trochę dostarczyć.

PS Chciałbym podziękować paniom Irynie Shuvaievei oraz Joannie Lewczuk-Mazurek, z których analiz na temat pozycji UW i UJ korzystałem przy pisaniu tego tekstu. To właśnie ich wiedza oraz wsparcie pozwoliły mi zgłębić meandry rankingów i podejmować na podstawie wyników ich prac decyzje dotyczące tzw. „polityki rankingowej” Uniwersytetu Warszawskiego.

Dr hab. Maciej Duszczyk, prof. UW, politolog, Wydział Nauk Politycznych i Studiów Międzynarodowych Uniwersytetu Warszawskiego

Wróć