Błażej Skoczeń
Fot. Piotr Kieraciński
W dyskusji na temat ewaluacji i kategoryzacji podmiotów w dyscyplinach nauki pada wiele argumentów, często bardzo emocjonalnych i wynikających z indywidualnego punktu widzenia. Warto jednak przypomnieć, że ewaluacja i kategoryzacja dotyczą instytucji, a nie pojedynczych osób, należy zatem spojrzeć na ocenę podmiotów z punktu widzenia instytucjonalnego. Na początek kilka danych. W latach 2017-2021 ewaluacji podlegały 283 podmioty, a liczba ocenianych grup naukowców wyniosła 1145, co odpowiada liczbie osób sięgającej blisko 110 000. Liczba zgłoszonych publikacji wyniosła 707 862, a liczba osiągnięć artystycznych 53 903. Ponadto zgłoszono 27 556 projektów badawczych, 12 138 praw ochronnych, a liczba rekordów dotyczących komercjalizacji wyników badań naukowych sięgnęła 16 002. Wreszcie oceniana liczba usług badawczych, świadczonych przez podmioty naukowe zewnętrznym odbiorcom, wyniosła 155 867. Sumarycznie w systemie pojawiło się blisko milion osiągnięć, wobec których bez podejścia instytucjonalnego bylibyśmy bezradni. Gdyby Komisja Ewaluacji Nauki chciała każde z tych osiągnięć oceniać indywidualnie, to każdy z jej członków musiałby ocenić około 32 000 osiągnięć. Licząc na każde osiągnięcie zaledwie 15 minut, trwałoby to blisko 8000 godzin, czyli około 1000 dni roboczych, a zatem niemal 4 lata, jeśli wyłączyć wszystkie inne zajęcia i skoncentrować się jedynie na ewaluacji. Tymczasem na ocenę jednostek i przedstawienie wyników KEN ma zaledwie 5 miesięcy. Dlatego właśnie potrzebne są miary instytucjonalne oraz zasady, które stosuje cały świat, aby w sposób racjonalny ocenić podmioty prowadzące działalność naukową.
Przy tak dużej liczbie osiągnięć, z których każde jest szczegółowo opisane w postaci kompletnego rekordu, potrzebne są bazy danych. Polska rozwinęła bazy danych gromadzące osiągnięcia naukowców, służące nie tylko ewaluacji, spośród których najważniejsze są PBN i POLon. Potrzebne jest także oprogramowanie służące do sprawnego poruszania się po ww. bazach danych. Dla potrzeb ewaluacji rozwinięto więc program SEDN, który członkom KEN oraz ekspertom pozwala sprawnie poruszać się w tej części bazy danych, która zawiera rekordy z osiągnięciami podlegające ocenie. Ponadto, w celu sprawnego dokonania oceny zdefiniowano tzw. walidatory, dzięki którym eksperci otrzymują wstępną listę osiągnięć wykazujących cechy niezgodne ze standardami zdefiniowanymi dla danego rodzaju osiągnięcia. Generalnie, w systemie SEDN poddano ocenie 427 202 osiągnięcia, a liczba decyzji podjętych przez członków KEN i ekspertów wyniosła 73 900. Tak wielkie liczby wymagają podejścia uporządkowanego i systematycznego, a także wsparcia ze strony ekspertów reprezentujących środowisko naukowe i akademickie.
W ubiegłej ewaluacji powołano niemal 900 ekspertów, spośród których blisko 50 pochodziło z zagranicy. Ekspertów należy przygotować do oceny, przekazując im wiedzę oraz stosowne materiały w postaci aktów prawnych i podręczników. Warto zauważyć, że przed poprzednią ewaluacją przeprowadzono 30 szkoleń dla ekspertów krajowych i zagranicznych, co oznacza jeden miesiąc przeznaczony wyłącznie na przeszkolenie ekspertów. Ponadto KEN przygotowała 5 podręczników, które służyły ekspertom w czasie ewaluacji: (1) organizacja pracy ekspertów KEN, (2) procedura weryfikacji zgodności osiągnięcia naukowego z dyscypliną naukową, (3) opis wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki, (4) ewaluacja w dziedzinie sztuki oraz (5) ewaluacja w zakresie badań naukowych lub prac rozwojowych na rzecz obronności i bezpieczeństwa państwa. Zanim naciśnięto przysłowiowy przycisk „start”, należało wykonać ogrom pracy przygotowawczej, której efektem była sprawna i skuteczna praca ekspertów w okresie ewaluacji.
Łącznie w pierwszym etapie ewaluacji uczestniczyło 858 ekspertów, a w drugim (po odwołaniach) było ich 314. Warto podkreślić, że był to wysiłek całego środowiska naukowego, a eksperci reprezentowali wszystkie dyscypliny nauki i sztuki. Nad ich pracą opiekę sprawowała KEN, a każda grupa ekspertów miała własnego opiekuna reprezentującego dyscyplinę lub grupę dyscyplin zgodną z jej profilem naukowym. Eksperci krajowi oceniali osiągnięcia przypisane do kryteriów K1, K2 oraz K3, natomiast ocenę do kategorii A+ powierzono ekspertom zagranicznym, zgodnie z wymogami rozporządzenia. Warto wreszcie przytoczyć liczbę ekspertów oceniających opisy wpływu w kryterium K3 w poszczególnych dziedzinach nauki: nauki humanistyczne – 45, nauki inżynieryjno-techniczne – 64, nauki medyczne i nauki o zdrowiu – 18, nauki rolnicze – 25, nauki społeczne – 100, nauki ścisłe i przyrodnicze – 53, nauki teologiczne – 9, dziedzina sztuki – 12 osób. Tak więc w ocenie eksperckiej w kryterium K3 brało udział 326 osób. Ocena we wszystkich trzech kryteriach była niezwykle pracochłonna, a eksperci nie szczędzili czasu, aby dogłębnie ocenić osiągnięcia, nawet jeśli wymagało to intensywnych poszukiwań w dostępnych bazach danych lub w witrynach internetowych ocenianych instytucji. Podobna sytuacja wystąpiła w ocenie podmiotów ubiegających się o kategorię A+, gdzie oceniali eksperci zagraniczni, którzy w znakomitej większości przypadków dobrze wywiązali się ze swojego zadania. Wśród ekspertów zagranicznych znalazły się osoby oceniające na co dzień w brytyjskim systemie REF, które bardzo pozytywnie oceniły polski system ewaluacji i kategoryzacji podmiotów.
Polski model ewaluacji jest modelem parametryczno-eksperckim, zrównoważonym, w którym dwa kryteria (K1, K2) są parametryczne, a kolejne dwa (K3, A+) eksperckie. Model ten ukształtował się w wyniku kolejnych ewaluacji i ma charakter wyważony. Generalnie program ewaluacji i kategoryzacji podmiotów rozpoczął się w Polsce w roku 1990, a pierwsze kategorie przyznano w latach 1991-1998. Początkowo w pełni ekspercki, z końcem lat 90. przekształcił się w system parametryczny (druga generacja), co wynikało z nadmiernie optymistycznych ocen przyznawanych wówczas przez ekspertów. Trzecia generacja oceny instytucjonalnej została opracowana w roku 2010 przez Komitet Ewaluacji Jednostek Naukowych (KEJN). Jednak po ewaluacji w roku 2017, w wyniku dyskusji o tzw. niejednorodnych jednostkach naukowych, podjęto decyzję o ocenie podmiotów w poszczególnych dyscyplinach nauki. Wymagało to opracowania kolejnej, czwartej generacji wielokryterialnego systemu, który wprowadziła w życie Komisja Ewaluacji Nauki w roku 2022.
Przeprowadzenie oceny instytucjonalnej wymaga zdefiniowania miar oraz zasad, które umożliwią ewaluację przy tak dużej liczbie osiągnięć. W dwóch pierwszych kryteriach zastosowano klasyczną miarę wyrażającą efektywność w postaci ułamka, w którego liczniku występuje suma punktów za osiągnięcia naukowe w danej dyscyplinie nauki, uzyskana przez N osób uczestniczących w badaniach naukowych w ocenianym podmiocie, a w mianowniku liczba N. Taka miara wyraża średnią liczbę punktów przypadających na osobę zaliczaną do liczby N. W kryterium trzecim przyjęto miarę w postaci średniej ocen poszczególnych opisów wpływu badań naukowych na społeczeństwo i gospodarkę. Warto zauważyć, że to kryterium w pełni odpowiada stosowanemu w Europie i na świecie kryterium „societal impact”. Jedną z ważnych zasad w ocenie instytucjonalnej jest zasada dziedziczenia prestiżu, która przypisuje artykułowi tyle punktów, ile otrzymało czasopismo notowane w wykazie czasopism naukowych. Należy zauważyć, że wykaz czasopism naukowych zawiera blisko 34 100 pozycji, a wykaz konferencji międzynarodowych kolejne 1735 pozycji. Wykazy powstały dzięki aktywności środowiska naukowego i akademickiego w postaci 44 zespołów, które przygotowały cząstkowe wykazy czasopism dla poszczególnych dyscyplin nauki. Po agregacji wykaz był regularnie uzupełniany w miarę spływających informacji o nowych czasopismach przyjętych do baz danych WoS, Scopus czy ERIH+. Istnieje także wykaz wydawnictw recenzowanych monografii naukowych, który zawiera ponad 800 pozycji. Warto podkreślić, iż wszystkie te wykazy wymagają aktualizacji, ponieważ zmiana wskaźników bibliometrycznych czasopism, a także zmiany na rynku wydawniczym następują w bardzo szybkim tempie.
Liczba przyznanych kategorii naukowych w wyniku ewaluacji okresu 2017-2021 (źródło: RADON, OPI-PIB)
Ewaluacja i kategoryzacja podmiotów to wymagające i ambitne zadanie, ponieważ dotyczy większości jednostek naukowych w Polsce reprezentujących różne sektory: akademicki (uczelnie), naukowy (instytuty PAN, instytuty badawcze) oraz międzynarodowy (instytuty międzynarodowe). Pozycja Polski na arenie międzynarodowej w poszczególnych dyscyplinach nauki ma istotny wpływ na zestawy wartości referencyjnych dla kategorii B, B+ oraz A, a także na ocenę podmiotów ubiegających się o kategorię A+. Według bazy SJR (Scimago Journal & Country Rank), w latach 2017-2021 Polska miała generalnie 17-18 pozycję na 232-235 notowanych krajów, w odniesieniu do liczby publikacji lub publikacji „cytowalnych”. To dobra pozycja, choć w poszczególnych dyscyplinach nauki zgodnych z polską klasyfikacją występowały różnice, które KEN uwzględniła w definicji wartości referencyjnych. Najlepsza dyscyplina nauki miała miejsce 17, a najsłabsza miejsce 25. Jest więc pole do poprawy w nadchodzących latach. W przypadku kategorii A+, odniesienie do ośrodków referencyjnych reprezentujących zachodnioeuropejskie standardy badawcze, a także ocena przez ekspertów zagranicznych, również miały istotne znaczenie dla obiektywizacji procesu oceny. Porównujemy naukę uprawianą w Polsce ze standardami światowymi, co ma duże znaczenie dla wskazania wzorców, do których jako środowisko dążymy.
Wynik ewaluacji i kategoryzacji okazał się racjonalny. Uzyskane proporcje (KEN: po odwołaniach): 6,6% A+, 32,7% A, 47,7% B+, 10,2% B, 2,8% C, nie odbiegają nadmiernie od proporcji we wcześniejszych ewaluacjach. Przyznanie na tej podstawie uprawnień awansowych oraz subwencji było jak najbardziej uzasadnione.
W toczącej się dyskusji o ewaluacji nie należy zapominać o olbrzymim wysiłku i nakładach poniesionych na rzecz opracowania i zbudowania oraz wdrożenia systemu ewaluacji i kategoryzacji. Bardzo dobra współpraca pomiędzy Komisją Ewaluacji Nauki, Departamentem Nauki w Ministerstwie Nauki i Szkolnictwa Wyższego oraz Ośrodkiem Przetwarzania Informacji, pozwoliła na przeprowadzenie w rekordowo krótkim czasie (5 miesięcy) skomplikowanej, wielokryterialnej oceny większości jednostek naukowych w kraju. Ocena była wynikiem intensywnych przygotowań, poczynając od marca 2019, kiedy powstała Komisja Ewaluacji Nauki pierwszej kadencji. Wszystkie składowe systemu działały sprawnie i skutecznie, a przeszkoleni eksperci w znakomitej większości wykonali zadanie w bardzo kompetentny sposób.
Na koniec może warto przytoczyć opinię jednego z ekspertów brytyjskiego REF (Research Excellence Framework), który uczestniczył jako ekspert zagraniczny w ocenie podmiotów ubiegających się o kategorię A+: „Polski system ewaluacji jest w wielu aspektach lepszy od brytyjskiego REF”. Nie ma idealnego modelu ewaluacji, każdy kraj zbudował swój własny system, który rozwija w sposób konsekwentny i ewolucyjny. Należy zatem dostrzec w polskim systemie wartość, którą zbudowaliśmy wysiłkiem wielu pokoleń naukowców (KBN, KEJN, KEN) i pracowników ministerstwa oraz OPI.
Wróć