To be or not to be

Prof. dr hab. inż. Błażej Skoczeń (ur. w 1960 r.) kieruje Centrum Projektowania Akceleratorów Cząstek Elementarnych na Politechnice Krakowskiej. Prowadzi badania w zakresie mechaniki, w tym konstrukcji powłokowych, modelowania konstytutywnego materiałów, niskich temperatur, teorii plastyczności, przemian fazowych, mechaniki uszkodzeń, fizyki ciała stałego oraz akceleratorów cząstek elementarnych. Jest autorem ponad 150 publikacji i opracowań naukowych, w tym 3 monografii. W latach 1995-2005 pracował w Europejskiej Organizacji Badań Jądrowych (CERN). Na Politechnice Krakowskiej był dyrektorem Instytutu Mechaniki Stosowanej i kierownikiem Zakładu Mechaniki Ciał Stałych. Jest wiceprzewodniczącym Komitetu Mechaniki PAN, członkiem Komisji Nauk Technicznych Polskiej Akademii Umiejętności. Był członkiem Komitetu Ewaluacji Jednostek Naukowych, a obecnie kieruje pracami Komisji Ewaluacji Nauki. Jest ekspertem zagranicznym w ewaluacji instytucjonalnej jednostek naukowych we Francji (HCÉRES) i polskim delegatem do Rady Dyrektorów Międzynarodowego Centrum Naukowego Mechaniki CISM (Włochy). Należy do Rady Kuratorów w Wydziale IV Nauk Technicznych PAN. Jest redaktorem działu Encyklopedii Mechaniki Ośrodków Ciągłych (Springer) i członkiem komitetów redakcyjnych 2 czasopism z listy JCR. Fot. Jan Zych, Politechnika Krakowska

Jakakolwiek próba porównania nieznanego dorobku podmiotu z nieistniejącymi wartościami referencyjnymi musi być traktowana jako nadużycie. Podmioty, które korzystają z usług tych instytucji, mogą się bardzo rozczarować w konfrontacji z ewaluacyjną rzeczywistością, która może być zupełnie inna, aniżeli wskazują zatrudnione firmy.

Wkrótce ewaluacja, która jak zwykle budzi wiele kontrowersji i obaw.

Ewaluacja nie jest polskim wynalazkiem ani naszą wyłączną domeną. To procedura realizowana w różnych wariantach w wielu europejskich krajach. Najbardziej tradycyjna funkcjonuje w Wielkiej Brytanii – to słynny brytyjski REF, czyli The Research Excellence Framework, który jest punktem odniesienia dla innych tego typu działań. Jest wspierana przez cztery instytucje finansujące badania naukowe w Anglii, Walii, Szkocji i w Irlandii Północnej, i ma czysto ekspercki charakter. To ewaluacja, która przewiduje powołanie dużego grona ekspertów w czterech grupach nauk: medycznych, o zdrowiu i o życiu, fizycznych, inżynierskich i matematycznych, społecznych oraz humanistycznych i w dziedzinie sztuki. Ten sposób oceny niesie bardzo wysokie koszty; w Zjednoczonym Królestwie jest to mniej więcej 1% środków publicznych przeznaczonych na finansowanie badań naukowych.

U nas byłby to koszt chyba nie do zaakceptowania, tak dla społeczności akademickiej, jak i dla władz państwowych.

Też tak myślę. Dlatego polski pomysł na ewaluację jest nieco inny i rozwijany w odmiennym kontekście. Warto przypomnieć, że ewaluację działalności naukowej prowadzimy od lat 90. ubiegłego wieku, a obecną postać wielokryterialną przybrała ona w latach 2012-13. Odseparowaliśmy wówczas kryteria, które mają odmienny charakter i przypisaliśmy im odpowiednie wagi. Wprowadziliśmy kategorię A+, która wskazywała elitę naukową kraju. W ewaluacji w 2017 roku poprawiliśmy wiele niedoskonałości, co sprawiło, że stała się ona bardziej dojrzała.

Powiedział pan, że REF jest punktem odniesienia, ale przecież nikt w Europie nie stosuje podobnej metody oceny nauki.

To prawda, lecz bardzo podobny system ma Australia. We Włoszech osobno ewaluuje się nauki ścisłe i inżynieryjno-techniczne, a osobno nauki humanistyczne i społeczne. W ocenie tych pierwszych wykorzystuje się wskaźniki bibliometryczne, a w humanistyce ocena ma charakter wyłącznie ekspercki. W Holandii ministerstwo przygotowało „protokół standardowy”, według którego poszczególne podmioty raz na sześć lat ewaluują się same. Jest do tego celu powołany międzynarodowy zespół ekspercki. Ten system jest wysoko ceniony, gdyż ocena jest zdecentralizowana – ewaluują się podmioty oraz grupy badawcze. Jest wreszcie ewaluacja, którą osobiście bardzo wysoko cenię, dokonywana przez Wysoką Radę ds. Ewaluacji Nauki i Szkolnictwa Wyższego we Francji. Należę do zespołu eksperckiego, który dokonuje co pewien czas oceny instytucji we Francji. Uczestniczyłem w trzech tamtejszych ewaluacjach. Wyróżnikiem francuskiego podejścia do ewaluacji podmiotu jest kompleksowość oceny, dotyczy ona bowiem zarówno badań naukowych, jak i kształcenia, o ile jest ono w jednostce prowadzone. W związku z tym oceniamy podmiot całościowo, poczynając od struktury, budżetu, sposobu funkcjonowania, aż po sposób organizacji badań i ich wyniki oraz organizację i efekty kształcenia, a także wpływ badań naukowych na kształcenie. Opracowanie statystyczne podmiotu stanowi podstawę ewaluacji, ale ocena końcowa ma wyłącznie ekspercki charakter. Jest to również system kosztowny. Zespół ekspertów, który ma ocenić jednostkę, spędza w niej trzy dni, rozmawia z jej władzami, widzi, jak ona działa. Ma to sens, bowiem zarówno struktura, jak budżet, a także sposób realizowania badań i dydaktyki, dają nam pełny obraz instytucji. Dopiero na samym końcu eksperci przedstawiają ocenę oraz rekomendacje, w których zawarte są punkty krytyczne, które należy poprawić. Wysoka rada ma własny budynek i budżet, zatrudnia ekspertów, ale i administrację. To zupełnie odmienny system od naszego. Polska Komisja Ewaluacji Nauki zajmuje się wyłącznie oceną jakości działalności naukowej podmiotów w dyscyplinach nauki.

Z wyjątkiem ewaluacji szkół doktorskich, o ile uznamy to za działalność dydaktyczną…

Rzeczywiście, mamy ocenę szkół doktorskich w swoich obowiązkach, ale to jest coś innego niż ewaluacja działalności naukowej, która nas czeka w najbliższym czasie. Te dwie sprawy są opisane w odrębnych rozporządzeniach. Ewaluacja szkół doktorskich ma bardziej holistyczny charakter, trochę zbliżony do modelu francuskiego, gdyż oceniamy jeden i drugi aspekt działalności szkół: jakość kształcenia oraz jakość opieki i wsparcia w działalności naukowej. Wynik ewaluacji dyscyplin będzie miał wpływ na możliwość prowadzenia szkół doktorskich.

Czemu służy ewaluacja za granicą? Czy chodzi tylko o podział pieniędzy, czy też jest powiązana z innymi elementami?

W znakomitej większości chodzi jednak o to, czy środki na badania są właściwie wykorzystywane, czy przynoszą spodziewane efekty. U nas ewaluacja mieści się obecnie w samym sercu reformy szkolnictwa wyższego i nauki, co spowodowało, że nabrała większego znaczenia. Poprzednio miała wyłącznie wymiar finansowy – chodziło o to, by we właściwy sposób podzielić środki na dotację statutową, co swoją drogą miało inne znaczenie w uczelniach, a inne w instytutach PAN. Teraz wyniki ewaluacji wpłyną na bardzo wiele aspektów działalności jednostek naukowych. Począwszy od tego, jaki status będzie miała taka instytucja, czy będzie uczelnią akademicką czy nie, czy będzie mogła posługiwać się nazwą politechniki lub uniwersytetu, przez uprawnienia do nadawania stopni naukowych, co ma kluczowe znaczenie dla budowania grup badawczych, a kończąc na przyznaniu środków finansowych. Ewaluacja ma istotny wpływ na być lub nie być podmiotów nauki.

Poprzednie ewaluacje dotyczyły jednostek naukowych, w tej chwili mówimy o ewaluacji dyscyplin nauki. A to niejedyna zmiana.

To najpoważniejsza zmiana. O ile wcześniej w grupie wspólnej oceny znajdowały się podmioty niekoniecznie reprezentujące jedną dyscyplinę, istniały bowiem liczne jednostki naukowe, w których uprawiano ich kilka, o tyle teraz oceniamy osiągnięcia grup naukowców reprezentujących w podmiocie poszczególne dyscypliny nauki. Była np. grupa wspólnej oceny, która obejmowała architekturę, inżynierię lądową oraz inżynierię środowiska – trudno nazwać ją jednorodną. Gdy dostrzegliśmy, że liczne jednostki mają niejednorodny charakter, że pracują w nich przedstawiciele odmiennych dyscyplin, które mają własną kulturę badań naukowych i publikowania, różne typowe wskaźniki bibliometryczne, powstała koncepcja, żeby ewaluować podmioty w dyscyplinach nauki. Wydaje się, że to dobry pomysł. Ewaluacja została umocowana w ustawie Prawo o szkolnictwie wyższym i nauce i w rozporządzeniu o ewaluacji jakości działalności naukowej. W Komisji Ewaluacji Nauki pracują trzy stałe zespoły, które zajmują się: ewaluacją podmiotów w dyscyplinach nauki (pod kierunkiem prof. Zbigniewa Kąkola z AGH), wykazem czasopism i wydawnictw (pod kierunkiem dr. hab. Emanuela Kulczyckiego, prof. UAM) oraz ewaluacją szkół doktorskich (pod kierunkiem dr. hab. Dominika Antonowicza, prof. UMK). Jesteśmy świadomi tego, że listy czasopism punktowanych oraz wydawnictw recenzowanych monografii naukowych budzą szczególne emocje, gdyż liczba punktów ma istotne znaczenie w ewaluacji. To jednak nie jest nowość, bo już poprzednio mieliśmy listy czasopism, które także budziły emocje i dyskusje.

Czy ktoś stosuje parametryzację czysto bibliometryczną?

Nie. Nie licząc nauk ścisłych i inżynierskich, chyba trudno byłoby rzetelnie ocenić dyscypliny z innych dziedzin nauki przy pomocy samych wskaźników bibliometrycznych.

Mamy system mieszany. Gdzie pojawiają się wskaźniki bibliometryczne, a gdzie czynnik ekspercki?

Bardzo cenię zrównoważoną koncepcję oceny w systemie mieszanym, parametryczno-eksperckim. Nasza ewaluacja nie została ukształtowana ad hoc, ale wynika z dotychczasowych doświadczeń. W obecnym kształcie jest to dojrzały system, który zawiera dwa kryteria o charakterze parametrycznym i dwa eksperckie. W kryterium pierwszym i drugim wyznaczamy sumę osiągnięć punktowanych (m.in. na podstawie wskaźników bibliometrycznych) i dzielimy przez liczbę osób (N) prowadzących działalność naukową w danej dyscyplinie. Trzecie kryterium oraz kryteria odnoszące się do kategorii A+, służące wyłonieniu najlepszych podmiotów, mają charakter ekspercki. W tym ostatnim przypadku oprócz ekspertów krajowych będziemy powoływali również ekspertów zagranicznych.

Wydłużyliśmy okres oceny; wciąż budzi emocje fakt pojawienia się dwóch okresów o odmiennych zasadach punktowania dorobku.

Rzeczywiście, trzeba było wydłużyć okres podlegający ocenie o rok z powodu pandemii i zaangażowania uczelni w przygotowanie zdalnego kształcenia. Wydłużenie okresu oceny do pięciu lat nie budziło większych wątpliwości. Inaczej jest z tą drugą sprawą. Dyskusja na ten temat trwa od dawna. Z obecnego rozwiązania nikt nie jest zadowolony, bowiem niesie one ze sobą szereg pułapek. Publikacje w „Nature” z grudnia 2018 roku będą ważyły 50 punktów, a te opublikowane miesiąc później – już 200.

Zdajemy sobie jednak sprawę z tego, że to jest równoważne.

Tak, ale nie zmienia to faktu, że będziemy dodawali do siebie punkty przypisane czasopismom w różnych wykazach. Na szczęście ten mankament nie dotyczy monografii i patentów, które są wyceniane według aktualnej punktacji w całym okresie podlegającym ewaluacji osiągnięć naukowych.

Skoro pan wspomniał patenty: czy będzie nimi można nadrabiać braki publikacyjne, jak poprzednio?

Nie. Ograniczono wyraźnie tę możliwość, mimo świadomości, że w pewnych dyscyplinach patent jest również formą komunikacji naukowej. Teraz można będzie zgłosić – średnio rzecz ujmując – jeden patent na osobę. Liczba patentów w danej dyscyplinie została ograniczona do N. To zmniejszy możliwość zastępowania publikacji patentami. Musimy mieć świadomość, że objęcie ochroną pewnych pomysłów czy wyników badań ma głębokie uzasadnienie. Zbyt często się zdarza, że publikujemy otwarcie znakomite pomysły zamiast objąć je wcześniej ochroną własności intelektualnej.

Czy wydłużenie okresu oceny do pięciu lat będzie komuś sprzyjało albo komuś szkodziło?

Wszystkim będzie służyło, bo wszyscy mieli więcej czasu na oswojenie się z zasadami ewaluacji i powiększenie dorobku. Podmioty mają więcej czasu na zdeponowanie swoich osiągnięć w bazie POLon. Wydaje się, że nie ma ani jednego podmiotu w kraju, który by narzekał na wydłużenie okresu oceny.

W przyszłości jednak zostaną cztery lata?

Na to wygląda, ale oczywiście jest to kwestia do dyskusji. Bywają różne okresy ewaluacji, np. Holendrzy uznali, że – mówiąc językiem matematyki – całkowanie po okresie sześcioletnim jest lepsze, lepiej eksponuje osiągnięcia.

Dawniej mówiło się o milionie tych zdarzeń. Czy stworzenie slotów w miejsce pojedynczych zdarzeń ewaluacyjnych ograniczy ich liczbę?

W ewaluację są na stałe wpisane dwa instrumenty: sposób uporządkowania osiągnięć podmiotu – i temu w gruncie rzeczy służą tzw. sloty, bo przecież takie pojęcie nie pada w rozporządzeniu – oraz tzw. pole 3 N, które służy Komisji Ewaluacji Nauki do oceny podmiotu w danej dyscyplinie nauki. Pole 3N jest podstawą do oceny najlepszych osiągnięć. Poprzednio ewaluowaliśmy 996 jednostek naukowych, które generowały osiągnięcia badawcze i przekazywały je w sposób nieograniczony. W poprzednich ocenach określiliśmy ważoną liczbę osiągnięć służących za podstawę ewaluacji na poziomie 3N i tym samym ograniczyliśmy liczbę osiągnięć branych pod uwagę w ocenie jednostki. Teraz mamy podobną sytuację, ponieważ liczba 3N pozostała, zmieniła się natomiast liczba dyscyplin w podmiotach podlegających ewaluacji – jest ich obecnie ponad 1200, czyli więcej niż liczba jednostek naukowych ocenianych poprzednio. Liczba zdarzeń ewaluacyjnych będzie zatem co najmniej tak duża, jak w poprzedniej ewaluacji, a może nawet większa. Celem budowania slotów nie było zmniejszenie liczby zdarzeń, ale ograniczenie wpływu pojedynczego badacza na ocenę dyscypliny w podmiocie. Jeśli mamy na podstawie ewaluacji przyznać podmiotowi uprawnienia, to musimy zmierzyć średnią efektywność w dyscyplinie. Zdajemy sobie sprawę, że są wybitni naukowcy, którzy cały swój dorobek mogliby umieścić w polu 3N i zapewnić sukces swojej jednostce. Ale nie o to nam chodzi. Są np. osoby, które mają liczne samodzielne publikacje, jednak w dorobku mogą wykazać tylko cztery wybrane, uznane za najlepsze. Większość naukowców jednak publikuje prace współautorskie, a ich dorobek zostanie umieszczony w koszyku, jakim są tzw. sloty, za pomocą jednostkowego udziału autora. Warto zauważyć, że w związku z wydłużeniem okresu oceny KEN zaproponowała zwiększenie liczby slotów z czterech do pięciu. Jednak ministerstwo uznało, że należy pozostać przy czterech slotach.

Czy w innych systemach ewaluacyjnych ogranicza się oceniany dorobek?

W Wielkiej Brytanii naukowiec przedstawiał swoje cztery najlepsze osiągnięcia. Warto jednak przypomnieć, że nie oceniano na tej podstawie naukowca, ale instytucję. My również nie oceniamy poszczególnych pracowników, ale aktywność całej instytucji. Prowadzimy ewaluację instytucjonalną i stosujemy adekwatne miary o charakterze instytucjonalnym. W polskim modelu oceniamy instytucję z perspektywy dyscyplin nauki, w których pracownicy prowadzą badania. Musimy zatem budować miary dostosowane do sposobu funkcjonowania instytucji w nauce. Jedną z nich jest tzw. efektywność naukowa, czyli suma osiągnięć wszystkich badaczy w danym podmiocie i w danej dyscyplinie podzielona przez liczbę N. Tak więc te cztery publikacje naukowca to mała cegiełka w całym dorobku instytucji. Brytyjczycy powołują armię dobrze wynagradzanych ekspertów, którzy oceniają dorobek instytucji na podstawie tego, co pokażą jej pracownicy. My mówimy: proszę swoje publikacje umieścić w czterech slotach. Komisja Ewaluacji Nauki uzyska do nich dostęp za pomocą centralnej bazy danych i na tej podstawie dokona oceny. W dwóch pierwszych kryteriach ocenimy na podstawie sumy punktów podzielonych przez liczbę N, czyli przez liczbę badaczy. W pozostałych kryteriach dokonamy eksperckiej oceny przedstawionego dorobku. Co ciekawe, we Włoszech naukowcy przedstawiają tylko dwa najważniejsze osiągnięcia. Nie ma zatem jednolitego systemu, który obowiązywałby we wszystkich krajach europejskich, są natomiast wytyczne przygotowane przez Komisję Europejską, które mówią, w jaki sposób należy dokonywać oceny osiągnięć naukowych. Staramy się do tych wytycznych dowiązać. Trzeba jednak pamiętać, że nasz system ma charakter dwuetapowy: najpierw dokonujemy oceny podmiotów (ewaluacji), a potem – w wyniku porównania osiągnięć z tzw. wartościami referencyjnymi – wyznaczamy kategorie naukowe (kategoryzacja) i podejmujemy uchwałę w sprawie kategorii naukowych proponowanych dla podmiotów. Kategorie ostatecznie przyznaje podmiotom minister w drodze decyzji administracyjnej. Na podstawie uzyskanej kategorii następuje przyznanie lub odmowa przyznania prawa do nadawania stopni naukowych. Natomiast w Europie Zachodniej tego nie ma. We Francji ewaluacja kończy się na raporcie i stosownych rekomendacjach. Na tej podstawie przyznawane są środki finansowe dla danego podmiotu.

Ilu ekspertów zaangażujecie do ewaluacji?

Właśnie tworzymy bazę ekspertów, którzy zechcą wziąć udział w ewaluacji. Zapewne będzie to kilkaset osób. Oprócz specjalistów zgłaszanych przez członków KEN pozyskujemy też kandydatury za pośrednictwem innych gremiów kolegialnych po to, by utworzyć jak najszerszą bazę. Ważnym zadaniem Komisji jeszcze w bieżącym roku będzie ocena monografii spoza wykazu. Tak więc pierwsi zatrudnieni do ewaluacji eksperci podejmą się właśnie tego zadania. Chodzi nam o takie osoby, które mają doświadczenie w zakresie ewaluacji, np. już w niej uczestniczyli, także za granicą, albo w swoich jednostkach pracowali nad przygotowaniem podmiotu do oceny. Z uzupełnionej bazy ekspertów Komisja wyłoni grupy eksperckie do wykonania określonych zadań, a więc oceny monografii spoza wykazu, oceny w zakresie poszczególnych kryteriów ewaluacji czy w zakresie kategorii A+. Ocena monografii spoza listy wydawnictw publikujących recenzowane monografie naukowe otwiera ewaluację. Zakończenie tego etapu nastąpi do końca września bieżącego roku. Podmioty, które działają w dziedzinach nauk humanistycznych, społecznych i teologicznych mogą zgłosić do pięciu monografii spoza wykazu, które zostaną ocenione przez ekspertów. W przypadku pozytywnej oceny taka monografia uzyska sto punktów. Zostaną one włączone do osiągnięć podmiotu, który je zgłosił w danej dyscyplinie nauki.

Jest jeszcze jedna instytucja, od której sporo w ewaluacji zależy, mianowicie Ośrodek Przetwarzania Informacji, który zapewnia otoczenie informatyczne tego procesu.

Tak. Ewaluacja dokonuje się między trzema ośrodkami: Departamentem Nauki w Ministerstwie Edukacji i Nauki, Komisją Ewaluacji Nauki, która działa w ekosystemie ministerstwa, ale reprezentuje środowisko naukowe i akademickie kraju, oraz Ośrodkiem Przetwarzania Informacji, instytucją, która wspiera cały proces od strony informatycznej. OPI bardzo poważnie potraktował to zadanie i przygotowuje systemy informatyczne potrzebne do ewaluacji. Najważniejszy jest System Ewaluacji Dorobku Naukowego, dzięki któremu cały proces będzie można sprawnie przeprowadzić. Zawiera on szereg modułów, w tym moduł optymalizacyjny, dzięki któremu do pola 3N zostaną wybrane te osiągnięcia podmiotu, które maksymalizują jego wynik końcowy.

Czy wszystkie systemy są już gotowe?

Przygotowujemy obecnie oprogramowanie do oceny monografii spoza wykazu, dzięki niemu podmioty będą mogły zgłosić poszczególne pozycje, a eksperci je ocenić. Na pewno pozostałe składowe oprogramowania będą gotowe i przetestowane na czas. Przygotowujemy także podręczniki do ewaluacji. Ukazał się już podręcznik dotyczący oceny działalności w dziedzinie sztuki, który posłuży zarówno ekspertom, jak i podmiotom. Jest dostępny w sieci i można go pobrać. Sukcesywnie będą się ukazywać kolejne, czyli podręcznik do kryterium trzeciego oraz do oceny działalności niejawnej. Jest też w przygotowaniu podręcznik do weryfikacji zgodności osiągnięcia naukowego z dyscypliną. Mamy zatem w planach cztery podręczniki, zarówno dla podmiotów, jak i dla ekspertów.

Może warto powiedzieć coś o terminach.

Przekonanie, że ewaluacja rozpocznie się w roku 2022, jest błędne. Już teraz można zgłaszać osiągnięcia w systemie POLon (via PBN). Niedługo otworzymy (rozmowa była autoryzowana 12 lipca – red.) nabór monografii spoza wykazu. Można będzie je zgłaszać do końca września bieżącego roku. Kolejnym elementem, który zgłasza się w terminie do 30 września, są badania w zakresie obronności i bezpieczeństwa państwa, objęte klauzulą poufności lub tajności. Trzeba je zgłosić i określić proporcje pomiędzy nimi a badaniami jawnymi. Podmioty prowadzące badania niejawne przechowają wyniki u siebie. Ministerstwo wyłoni specjalną komisję złożoną z osób, które mają uprawnienia w zakresie dostępu do informacji poufnych lub tajnych, czy też tajnych wysokiego szczebla. Komisja będzie oceniać te osiągnięcia na miejscu, w podmiocie, wg instrukcji, którą przygotowuje KEN. Zostaną one dodane do osiągnięć jawnych podmiotu. W październiku rozpocznie się ocena osiągnięć spoza wykazu, która powinna zakończyć się do końca listopada. Warto przypomnieć, iż zgłaszane do oceny monografie naukowe muszą być wydane, tj. te z pierwszych czterech lat okresu oceny muszą mieć ostateczną formę, a te z 2021 roku muszą mieć numer ISBN, ale nie muszą mieć ostatecznej formy. Do końca bieżącego roku powołamy zespoły eksperckie do oceny podstawowych kryteriów czy do kategorii A+. Główny etap ewaluacji rozpoczniemy 1 lutego 2022 roku. Do 10 lutego przekażemy jednostkom wykaz ich osiągnięć pobranych z POLon-u, które znalazły się w polu 3N w wyniku działania modułu optymalizacyjnego. Podmiot ma 3 tygodnie na zapoznanie się z tym wykazem i odniesienie się do tego, co zaproponowała KEN. Jeśli uzna, że ma korzystniejsze rozwiązanie od tego, które wskazała Komisja, może zmienić osiągnięcia naukowe w polu 3N i przedstawić własny wykaz. Jednostki naukowe opracowały własne algorytmy optymalizacyjne i mają prawo z nich skorzystać. Tak więc wartości referencyjne, które pozwolą na wyznaczenie kategorii podmiotów, opracujemy najwcześniej w kwietniu 2022 roku. Cała operacja ewaluacji i kategoryzacji ma się zakończyć w czerwcu przyszłego roku.

Dlaczego pole 3N?

W ubiegłych latach została wykonana swoista analiza wrażliwości, która miała pokazać, w jaki sposób długość pola wpływa na zróżnicowanie jednostek. Chodzi zatem o to, aby za podstawę ewaluacji przyjąć taką liczbę osiągnięć, dzięki której będzie dobrze widać różnice pomiędzy jednostkami. Gdyby ograniczyć pole wyłącznie do najwyżej punktowanych osiągnięć, różnice między podmiotami byłyby niewielkie. Gdyby to pole było natomiast dłuższe, to wpływ słabszych osiągnięć byłby zbyt duży. Stąd pole 3N okazało się optymalne i sprawdziło się w dwóch poprzednich ewaluacjach. Był taki moment, kiedy próbowano ograniczyć jego długość do 2N, ale okazało się to ryzykowne z punktu widzenia ewaluacji w kontekście braku znaczących różnic między ocenianymi jednostkami w niektórych dyscyplinach.

Co z ewaluacją humanistyki? Część humanistów wciąż ma zastrzeżenia.

Docierają do nas różne głosy, w tym akceptujące system, który obecnie obowiązuje. Chcę wyraźnie podkreślić, że nauki humanistyczne zostały w rozporządzeniu wyjątkowo docenione. Przyznano im dodatkowe poziomy punktacji. Np. w przypadku najwyżej punktowanych monografii mają one dodatkowe 50% punktów. W przypadku innych nauk monografia może liczyć na 200 punktów, a w humanistyce na 300. To wyraźny ukłon w kierunku nauk humanistycznych, społecznych i teologicznych. Podobnie jest z monografiami spoza wykazu – mogą je zgłaszać tylko te dyscypliny. Trzeci aspekt to możliwość zgłoszenia w polu 3N do 20% monografii o wartości punktowej nieprzekraczającej 100 pkt, podczas gdy inne nauki mogą ich zgłosić nie więcej niż 5%. Kolejny wyróżniający aspekt to próg kwotowy wprowadzony w ramach oceny efektów finansowych badań naukowych (w kryterium drugim), w wyniku którego uzyskuje się jeden punkt. Dla wszystkich nauk jest on dwukrotnie wyższy niż dla humanistyki. W kryterium trzecim nauki te mają również możliwość zgłoszenia dodatkowych opisów wpływu. Zatem w rozporządzeniu ewaluacyjnym nauki humanistyczne, społeczne i teologiczne są wyraźnie docenione i mają możliwość wskazania typowych dla nich osiągnięć, które są wyżej punktowane. Atmosfera wokół nauk humanistycznych i społecznych jest obecnie bardzo dobra. Niemal połowa członków KEN reprezentuje właśnie te dziedziny nauki. Wspólny, uniwersalny system ewaluacji, ale uwzględniający specyfikę poszczególnych dziedzin wiedzy, jest zdecydowanie lepszy od tworzenia dwóch odrębnych systemów, jak we Włoszech. Pozwala bowiem na wspólne spojrzenie na osiągnięcia podmiotów naukowych w Polsce i łączy naukowców, a nie dzieli.

Czy cała ewaluacja musi być przeprowadzana w tym samym czasie? Każda dyscyplina mogłaby być ewaluowana co cztery lata, ale jedna ewaluuje się teraz, inna za rok, a kolejna za dwa lata.

To ciekawe pytanie, które w istocie rzeczy dotyka samego sedna systemu francuskiego, w którym ewaluacja dokonuje się w sposób ciągły, falami (vague). Taka „fala ewaluacji” obejmuje określony rodzaj jednostek czy dany region. Pozwala to rozłożyć cały proces ewaluacji w czasie. Ma to pewne zalety, ale ma też istotną wadę: należałoby powołać do życia instytucję, która zatrudniałaby etatowych pracowników, także administracyjnych, miała określony budżet i w sposób ciągły prowadziła ten proces. Z pewnością ewaluacja byłaby wówczas dużo droższa, ale za to zapewniałaby stały dopływ informacji do ministerstwa na temat tego, w jaki sposób rozwijają się poszczególne sektory nauki, regiony itp. To jest pytanie, jak ważna jest ewaluacja w danym kraju. W Wielkiej Brytanii jest – pomimo wyraźnej krytyki – bardzo doceniana, o czym świadczy wysokość nakładów. Francuzi zrobili to samo – uznali, że jest to ważna sprawa i warto na nią wyłożyć duże środki finansowe. Jeżeli bowiem – z zachowaniem właściwych proporcji w stosunku do państw europejskich – wydajemy poważne, choć wciąż zbyt małe, środki na naukę, to warto ocenić, czy podmioty właściwie je wydają, czy podnoszą jakość i efektywność prowadzonych badań naukowych, a także czy wpływają na poprawę widoczności polskiej nauki w świecie.

Jakie jest znaczenie międzynarodowej pozycji dyscyplin dla naszej ewaluacji?

Posługujemy się tym wskaźnikiem przy wyznaczaniu wartości referencyjnych. To jest sama istota ewaluacji i kategoryzacji. Rozporządzenie nakłada na KEN sposób wyznaczenia wartości referencyjnych dla poszczególnych dyscyplin w oparciu o osiągniecia podmiotów, ale także z uwzględnieniem pozycji Polski w tych dyscyplinach na świecie.

Jak tę pozycję wyznaczacie?

Stosujemy bazę Scimago Journal and Country Rank.

Na razie te wartości referencyjne nie są ustalone, gdyż…

Jeszcze nie spłynęły wszystkie dane, które są do tego potrzebne. Dlatego też nie sposób teraz wskazać, jaką kategorię otrzyma konkretna jednostka w danej dyscyplinie nauki. Wyobraźmy sobie pewną hipotetyczną dyscyplinę nauki. Organizujemy podmioty rozwijające tę dyscyplinę w grupę wspólnej oceny. Osiągnięcia wszystkich podmiotów są brane pod uwagę w algorytmie wyznaczania wartości wzorcowych w poszczególnych kryteriach. Na podstawie tych wartości są następnie wyznaczane wartości referencyjne dla kategorii A, B+ oraz B. Ale to dopiero połowa pracy – został zbudowany pierwszy układ współrzędnych. Drugi element to sprawdzenie, jak wygląda pozycja Polski w tej dyscyplinie na świecie. Stosujemy Scimago, ponieważ ta baza jest najszersza, obejmuje także subdyscypliny, co lepiej pozwala nam dopasować nasze dyscypliny do danych uzyskanych z bazy. Mamy wiele dyscyplin heterogenicznych, np. inżynieria środowiska, górnictwo i energetyka – składają się na nią aż trzy duże sektory, a każdemu z nich odpowiadają kolejne składowe. Właśnie w bazie Scimago możemy znaleźć te składowe. Na tej podstawie budujemy pozycję Polski w poszczególnych dyscyplinach nauki, uwzględniając takie wskaźniki, jak indeks Hirscha, liczba cytowań czy liczba cytowań bez autocytowań. Dla dyscyplin, które są bardzo mocne, będziemy mogli wartości referencyjne, opracowane uprzednio na podstawie osiągnięć ocenianych podmiotów, odrobinę obniżyć, żeby więcej jednostek wprowadzić do wyższych kategorii. Natomiast dyscyplinom, których pozycja międzynarodowa jest nieco słabsza, odrobinę tę poprzeczkę podniesiemy, aby trochę mniej jednostek naukowych znalazło się w kategoriach A, B+ oraz B. W ten sposób kategoryzacja będzie odzwierciedlała także pozycję naszych uczonych na świecie. Kiedy wartości referencyjne zostaną ostatecznie ukształtowane, wtedy będzie można mówić o przeprowadzeniu kategoryzacji. Podkreślam: wartości referencyjne poznamy nie wcześniej niż w kwietniu 2022 roku. Zatem prognozowanie kategorii dyscyplin w danej jednostce naukowej przed poznaniem tych wartości nie ma żadnych podstaw. Dorobek każdego podmiotu za okres podlegający ocenie będzie już wtedy nie tylko znany, ale ukształtowany w formie ankiety ewaluacyjnej, przeanalizowanej przez system optymalizacyjny i sprawdzonej lub skorygowanej przez same podmioty. Będzie zatem można ten dorobek uwzględnić w procesie tworzenia grup wspólnej oceny, ocenić, a następnie wyznaczyć wartości referencyjne. To jedna z końcowych czynności poprzedzających kategoryzację.

Czy to znaczy, że nie znając grup wspólnej oceny i wartości referencyjnych, nie można sensownie prognozować wyników ewaluacji?

Zdecydowanie nie można. Ani na obecnym etapie, ani nawet z początkiem przyszłego roku. Zdajemy sobie sprawę z tego, że w wielu podmiotach działają komercyjne instytucje, które oferują podmiotom usługi związane z ewaluacją, w tym określenie – z pewnym prawdopodobieństwem – przyszłej kategorii. Chcę z całą mocą podkreślić, że na obecnym etapie nie da się tego odpowiedzialnie zrobić. Potrzebne są bowiem dwa elementy: komplet osiągnięć podmiotów w danej dyscyplinie na przestrzeni pięciu lat, znajomość grupy wspólnej oceny oraz opracowanie wartości referencyjnych. Żaden z tych elementów nie jest jeszcze znany. Jakakolwiek próba porównania nieznanego dorobku podmiotu z nieistniejącymi wartościami referencyjnymi musi być traktowana jako nadużycie. Podmioty, które korzystają z usług tych instytucji, mogą się bardzo rozczarować w konfrontacji z ewaluacyjną rzeczywistością, która może być zupełnie inna aniżeli wskazują zatrudnione firmy.

KRASP zgłaszał do KEN propozycję, aby inaczej potraktować pracowników naukowo-dydaktycznych z uczelni i pracowników naukowych instytutów PAN.

Rzeczywiście obecne zapisy w rozporządzeniu przewidują wartości referencyjne zdefiniowane dla danej dyscypliny bez względu na rodzaj jednostek. Tymczasem praca badawcza w instytutach PAN wygląda inaczej niż w uczelniach, gdzie dużą część czasu pracownika zajmuje dydaktyka. KRASP proponuje uwzględnienie tego faktu. Z uwagi na zapisy ustawowe i zawarte w rozporządzeniu nie da się obecnie przeprowadzić tego, co czyniliśmy w poprzednich ewaluacjach, gdy osobno definiowaliśmy wartości referencyjne dla instytutów PAN, a osobno dla uczelni. Zatem specyfika pracy w każdej z tych grup jednostek była brana pod uwagę. Obecne rozwiązania podkreślają, że dyscyplina nauki w instytucie PAN znaczy tyle samo, co w uczelni. Oceniamy grupę naukowców, którzy prowadzą badania i publikują w tej samej dyscyplinie. Ponieważ nie należy zmieniać rozporządzenia ani ustawy tuż przed ewaluacją, pozostało nam uwzględnić tę różnicę w taki sposób, że wartości referencyjne będą wyznaczane na podstawie dorobku uczelni, a potem na ich podstawie będą ewaluowane także inne podmioty.

Wiemy, że wcześniej manipulowano liczbą N w ten sposób, że zwalniano słabego pracownika na jeden dzień, aby nie był uwzględniany w ocenie.

Nie mamy żadnych narzędzi, żeby przeciwdziałać takim praktykom. Obserwujemy także przenoszenie pracowników na stanowiska dydaktyczne, aby zmniejszyć liczbę N i podnieść sztucznie efektywność naukową. Niesie to ze sobą pewne skutki, nie tylko dla ewaluacji, zmienia bowiem obraz instytucji.

Ile jest tzw. innych podmiotów w ewaluacji?

To są jednostkowe podmioty, np. muzea, fundacje czy firmy, które prowadzą badania naukowe. Poddajemy ewaluacji na mocy ustawy uczelnie akademickie, instytuty naukowe PAN, a także instytuty międzynarodowe. Inne uczelnie, np. zawodowe, mogą się również zgłosić do oceny. Podobnie instytuty badawcze – oceniamy tylko te, które złożą stosowny wniosek. Tak samo jest z tzw. innymi podmiotami prowadzącymi działalność naukową w sposób samodzielny i ciągły.

Do końca grudnia zamykamy ten okres ewaluacji. Pierwszego stycznia rozpoczyna się nowy okres oceny. Tymczasem wiemy już, że na listach czasopism są takie, które zostały z baz usunięte czy też mimo obecności w bazach prowadzą dość niecne praktyki. Czy KEN przewiduje korektę list czasopism przed kolejną ewaluacją?

Lista czasopism punktowanych wymaga systemowego podejścia. Nasze możliwości w tej materii precyzuje rozporządzenie w sprawie sporządzania wykazów monografii naukowych oraz czasopism naukowych i recenzowanych materiałów z konferencji międzynarodowych. Zmiany na liście czasopism punktowanych dokonywane są obecnie przez KEN wyłącznie w trybie par. 14a ww. rozporządzenia.

Raczej in plus, a nie in minus.

Tak, o te czasopisma, które weszły do międzynarodowych baz (WoS, Scopus, ERIH+) wymienionych w rozporządzeniu. Ale jest też uchwała KEN, która wskazuje na pewne problemy z listą. Była ona bowiem tworzona w określonym czasie i jest oparta na już nieaktualnych wskaźnikach wpływu. Część czasopism weszła do międzynarodowych baz, a część została z nich usunięta. Należałoby to uwzględnić.

Zdążycie przed styczniem 2022?

Nie. Teraz absorbuje nas ewaluacja i kategoryzacja, a dopiero po zakończeniu kategoryzacji, czyli w drugiej połowie 2022 r., będziemy mogli podjąć inne zadania.

W gruncie rzeczy ewaluacja będzie się działa bardzo szybko.

Tak. W poprzedniej ewaluacji mieliśmy czas do końca września, czyli kilka miesięcy dłużej.

Kluczowa w tej ocenie będzie kategoria B+.

Rzeczywiście. Kategoria B+ pojawiła się, gdyż w poprzedniej ewaluacji kategoria B była bardzo pojemna. Między jednostkami z dolnej strefy i tymi z czołówki ówczesnej kategorii B była przepaść. Stąd pomysł na dodatkową kategorię. Ustawowo od tej kategorii zależą liczne kwestie, w tym uprawnienia w zakresie doktoryzowania i habilitowania. Jest to zatem wrażliwy element i właściwe zdefiniowanie wartości referencyjnych będzie kluczowe.

Minister nauki zapowiada łagodzenie skutków nieuzyskania tej kategorii…

Rzeczywiście wygląda na to, że powstanie program osłonowy. Nie tylko zapowiada to minister, ale także KRASP wystąpił z tego rodzaju propozycją. Wynika to z faktu, że od kategorii B+ bardzo wiele zależy i podmioty obawiają się konsekwencji kategoryzacji.

Proszę omówić trzy kryteria ewaluacji.

Ich lista i charakter wynikają z naszych wcześniejszych doświadczeń. Skoro w wyniku obecnej ewaluacji przyznajemy uprawnienia, to należało wycofać kryterium drugie z poprzedniej ewaluacji, gdyż odnosiło się do uprawnień jednostki naukowej. Mamy zatem trzy koszyki, do których wkładamy osiągnięcia jednostki – np. uczelni czy instytutu – w danej dyscyplinie. Do pierwszego koszyka wkładamy typowe osiągnięcia naukowe w postaci publikacji, czyli artykułów, monografii, rozdziałów w monografiach, redakcji monografii, doniesień konferencyjnych, patentów itp. To jest kryterium, które będzie oceniane parametrycznie. Nazwałem je intensywnym, gdyż suma osiągnięć z tego koszyka będzie dzielona przez liczbę N, czyli wyznaczamy średnią liczbę punktów przypadającą na jednego pracownika. Podobnie będzie z kryterium drugim, które jednak dotyczy teraz zupełnie innego rodzaju osiągnięć: projektów badawczych zarówno krajowych, jak i międzynarodowych, zwłaszcza chodzi tutaj o granty uzyskane w wyniku procedur konkursowych. Do tego dołączona jest komercjalizacja wyników badań naukowych, prezentowana w postaci kwot pozyskanych w wyniku komercjalizacji. Tu także wynik dzielimy przez liczbę N, czyli kryterium ma charakter intensywny. Natomiast trzecie kryterium, które polega na ocenie wpływu działalności naukowej na społeczeństwo i gospodarkę, jest ekstensywne, a będzie ocenione w sposób ekspercki. Chcemy za jego pomocą pokazać, jak badania naukowe przekładają się na rozwój społeczny i cywilizacyjny. Będziemy to oceniać w dwóch warstwach: znaczenia i zasięgu tego wpływu. Kiedy te trzy koszyki zostaną ocenione, to będziemy mieli dla danego podmiotu w danej dyscyplinie nauki wyniki w poszczególnych kryteriach. Następnie będą one porównywane z wartościami referencyjnymi ustalonymi dla danej dyscypliny. Wtedy dopiero zobaczymy, w którym miejscu oceniany podmiot znalazł się w reprezentowanej przez niego dyscyplinie. Dlatego powtórzę: w tej chwili nie da się przewidzieć końcowego wyniku ewaluacji.

Każde kryterium ma inną wagę zależnie od dziedziny nauki.

Rzeczywiście starano się w ten sposób uwzględnić charakter każdej dziedziny badań. Widać wyraźnie różnicę między naukami ścisłymi lub inżynierskimi a humanistycznymi czy społecznymi. Na przykład w naukach inżynieryjnych waga w pierwszym kryterium wynosi 50%, ale w drugim aż 35%. To docenienie faktu, że współpraca z gospodarką ma duże znaczenie dla tych nauk. Suma wag wynosi zawsze 100%. Ostateczny wynik jest zatem ważony za pomocą zestawu wag opracowanych dla danej dziedziny.

Jak powstaje kategoria A+? Ile jednostek może ją otrzymać?

To zależy od optyki, jaką przyjmie ministerstwo. Naszym zadaniem jest zbadać, czy dany podmiot w określonej dyscyplinie kwalifikuje się do kategorii A+. Dokonuje się to w ten sposób, że porównujemy osiągniecia podmiotów z najlepiej ocenionym podmiotem w danej dyscyplinie, którego dorobek uznajemy za 100%. Dokonania jednostek, które mogą aspirować do kategorii A+, w kryterium pierwszym muszą osiągnąć wartość progową, którą ustala KEN. Najprościej rzecz ujmując, jednostka musi osiągnąć w kryterium pierwszym co najmniej 80% wyniku najlepszego podmiotu w danej dyscyplinie – to warunek konieczny. Inne warunki podlegające ocenie eksperckiej to osiągnięcia naukowe o międzynarodowym znaczeniu, mające wpływ na rozwój cywilizacyjny, liczba wysoko punktowanych artykułów i monografii, liczba i ranga cytowań, projekty badawcze o wysokim prestiżu, wybitne dzieła, a także znaczenie wyników badań naukowych dla rozwoju społecznego i gospodarczego kraju. Wszystkie osiągniecia pretendentów do A+ będą przedmiotem oceny ekspertów. Proszę jednak zauważyć, że są też kategorie B i C, a ta ostatnia będzie miała dla jednostki równie istotne skutki co kategoria B+. W ewaluacji z roku 2013 otrzymało ją około 8% jednostek, a w 2017 r. około 11%, czyli znacznie więcej niż najwyższą kategorię A+. Dlatego tak ważne jest instrumentarium, które tworzymy, a które ma zobiektywizować ocenę. Zostało ono zbudowane w oparciu o pewnego rodzaju umowę środowiskową – rozporządzenie było konsultowane ze środowiskiem naukowym i akademickim w kraju. Ta umowa musi zostać wykonana rzetelnie i obiektywnie, aby proces był transparentny i akceptowany przez środowisko. Jeśli tak sprawę postawimy, to otrzymamy wynik, który powstał na podstawie realizacji zapisanej umowy. Przedstawimy go ministrowi wraz z uchwałą podjętą przez KEN w sprawie proponowanych kategorii naukowych, ustalonych na podstawie wyników ewaluacji podmiotów w dyscyplinach nauki.