Ewaluacja i kategoryzacja 2022 – I etap

Fot. Jan Zych

Komisja Ewaluacji Nauki, działając na podstawie przepisów zawartych w art. 274 ust. 1 pkt 1 ustawy z dnia 20 lipca 2018 r. Prawo o szkolnictwie wyższym i nauce (Dz. U. z 2022 r. poz. 574 z późn. zm.) oraz § 26 ust. 1-3 rozporządzenia Ministra Nauki i Szkolnictwa Wyższego z dnia 22 lutego 2019 r. w sprawie ewaluacji jakości działalności naukowej (Dz. U. z 2022 r. poz. 661), przygotowała dla każdej dyscypliny naukowej i artystycznej propozycje zestawów wartości referencyjnych dla kategorii naukowych A, B+ i B. Każdy zestaw składa się z określonych dla podstawowych kryteriów ewaluacji, o których mowa w art. 267 ust. 1 ww. ustawy, wartości referencyjnych służących kwalifikacji działalności naukowej ewaluowanych podmiotów prowadzonej w ramach danej dyscypliny naukowej albo artystycznej do kategorii naukowych A, B+, B albo C.

Komisja przyjęła za podstawę zapisy rozporządzenia ministra nauki i szkolnictwa wyższego z dnia 22 lutego 2019 r. w sprawie ewaluacji jakości działalności naukowej, a w szczególności § 26 ust. 2, który stanowi, iż Komisja przygotowuje propozycje zestawów wartości referencyjnych, o których mowa w ust. 1, biorąc pod uwagę:

1) osiągnięcia ewaluowanych podmiotów w poszczególnych dyscyplinach naukowych i artystycznych w zakresie podstawowych kryteriów uzyskane w okresie objętym ewaluacją;

2) pozycję nauki polskiej w skali międzynarodowej w poszczególnych dyscyplinach naukowych i artystycznych, przy czym w dyscyplinach naukowych pozycję tę określa się na podstawie informacji pochodzących z międzynarodowych baz danych bibliometrycznych.

Komisja przypisała zatem podmioty reprezentujące daną dyscyplinę nauki do grupy wspólnej oceny i zastosowała w każdym z trzech kryteriów (K1, K2, K3) opracowany przez KEN algorytm wyznaczania wartości referencyjnych. Na podstawie tego algorytmu, został wyznaczony najpierw zestaw wartości wzorcowych, a następnie trzy zestawy wartości referencyjnych, odpowiednio do kategorii A, B+ oraz B. Każdy zestaw wartości referencyjnych zawiera 3 wartości progowe, odpowiadające kryteriom K1, K2 oraz K3, które stanowią określoną frakcję wartości wzorcowych i jest wyznaczany w sposób algorytmiczny.

Następnie Komisja przystąpiła do określenia pozycji nauki polskiej na arenie międzynarodowej w poszczególnych dyscyplinach naukowych i artystycznych. Zrobiono to posługując się powszechnie dostępną bazą Scimago Journal and Country Rank (SJR). W przypadku dyscyplin nie mających swojego bezpośredniego odpowiednika w bazie SJR, wyznaczono pozycję polskiej nauki w subdyscyplinach wchodzących w skład danej dyscypliny, a następnie określono ostateczną pozycję całej dyscypliny. Z uwagi na dostępność danych, pozycję nauki polskiej w poszczególnych dyscyplinach określono na podstawie danych z okresu 2017-2021.

Pozycja nauki polskiej w skali międzynarodowej została uwzględniona w określeniu zestawów wartości referencyjnych do kategorii A, B+ oraz B, zgodnie z zapisami rozporządzenia w sprawie ewaluacji jakości działalności naukowej.

KEN opracowała cztery modele wyznaczania zestawów wartości referencyjnych:

– model uniwersalny zawierający jeden wspólny zestaw parametrów dla wszystkich dyscyplin naukowych i artystycznych;

– model dziedzinowy zawierający jeden zestaw parametrów dla wszystkich dyscyplin w obrębie każdej dziedziny nauki lub sztuki, przy czym zestaw parametrów był dobierany w taki sposób, aby sumaryczny odsetek podmiotów w kategoriach A i B+ w danej dziedzinie odzwierciedlał pozycję nauki polskiej w skali międzynarodowej w tej dziedzinie;

– model dyscyplinowy, w którym zestaw parametrów był różny dla każdej dyscypliny nauki lub sztuki, a kolejne zestawy wynikały z interpolacji liniowej pomiędzy skrajnymi zestawami dla najsłabszej i najmocniejszej dyscypliny;

– model dyscyplinowy, w którym zestawy parametrów były dobierane w taki sposób, aby sumaryczny odsetek podmiotów w kategoriach A i B+ w danej dyscyplinie odpowiadał pozycji nauki polskiej w skali międzynarodowej w tej dyscyplinie.

Rys. 1 Pozycja nauki polskiej w skali międzynarodowej na podstawie bazy Scimago Journal and Country Rank

W wyniku dyskusji i porównania modeli, zdecydowano o przyjęciu modelu 4 z korektą ustalającą proporcje pomiędzy odsetkiem podmiotów w kategorii A i odsetkiem podmiotów w kategorii B+ w zależności od pozycji nauki polskiej w skali międzynarodowej w danej dyscyplinie. Dla każdej dyscypliny Komisja przeprowadziła szczegółową analizę wartości funkcji V(X,R), o której mowa w załączniku 2 do rozporządzenia w sprawie ewaluacji jakości działalności naukowej, obliczonej z zastosowaniem wyznaczonych algorytmicznie wartości referencyjnych. W kilkunastu dyscyplinach Komisja dokonała nieznacznych korekt wartości referencyjnych wynikających z przyjętego algorytmu, tak aby kolejne kategorie odpowiadały istotnym zmianom wartości tej funkcji.

Opracowując procedurę kategoryzacji podmiotów w dyscyplinach nauki i sztuki, na podstawie ust. 2 pkt 1 załącznika nr 2 do rozporządzenia ministra nauki i szkolnictwa wyższego z dnia 22 lutego 2019 r. w sprawie ewaluacji jakości działalności naukowej, Komisja Ewaluacji Nauki ustaliła próg pełnego przewyższenia G w wysokości 0.3. Służy on do porównania przyznanych ewaluowanemu podmiotowi ocen w ramach podstawowych kryteriów ewaluacji z wartościami referencyjnymi dla kategorii naukowych A, B+ i B, w danej dyscyplinie naukowej albo artystycznej. Sumaryczny odsetek podmioto-dyscyplin w kategoriach A i B+ wyznaczony przez Komisję Ewaluacji Nauki wynosi 80%, w stosunku do 20% w kategoriach B i C. Obecnie Komisja Ewaluacji Nauki przystępuje do oceny podmiotów – kandydatów do kategorii A+ (II etap ewaluacji).