Mamy progres w większości dyscyplin

Prof. dr hab. inż. Zbigniew Kąkol (ur. w 1954 r.) jest fizykiem związanym z Akademią Górniczo-Hutniczą od 1977 roku, kiedy po studiach na Wydziale Elektrotechniki, Automatyki i Elektroniki AGH podjął pracę w Zakładzie Fizyki Ciała Stałego. Pracę doktorską obronił jednak na Wydziale Matematyki i Fizyki Uniwersytetu Jagiellońskiego. W latach 1988-1991 pracował na Wydziale Chemii Uniwersytetu Purdue, USA.
Jego zainteresowania naukowe dotyczą własności magnetycznych materii skondensowanej i fizyki przejść fazowych w związkach metali przejściowych z pierwiastkami ziem rzadkich, a także badań materiałów tlenkowych (magnetycznych i nadprzewodzących) oraz izolatorów topologicznych. Jest autorem ponad 100 publikacji. Posiada doświadczenie dydaktyczne z zakresu fizyki i informatyki. We władzach AGH pełnił funkcje dziekana Wydziału Fizyki, prorektora ds. kształcenia i spraw studenckich oraz prorektora ds. nauki. Był członkiem Rady Uczelni AGH w latach 2021-2024. Był członkiem Komitetu Ewaluacji Jednostek Naukowych, a następnie Komisji Ewaluacji Nauki. Obecnie jest jej przewodniczącym.

Lepiej by było, gdyby ewaluację robiła jednostka niezależna od ministerstwa. Żeby to nie było tak, że wartości referencyjne na koniec ustala minister, i że o kategoriach na końcu decyduje minister.

Czy obecna ewaluacja jest dokładnie taka sama jak poprzednia, czy jednak czymś się różnią?

Generalnie jest taka sama, to znaczy jest ta sama liczba kryteriów i te same zasady oceny. Nastąpiły jednak dwie, moim zdaniem istotne, zmiany, które mają wpływ na wynik końcowy. Pierwszą jest to, że osiągnięcia doktorantów ze szkół doktorskich – mamy ich dużo, są współautorami większości naszych prac, pracujemy w tych samych projektach – są wliczane do dorobku jednostek naukowych. Przedtem ten dorobek się po prostu nie liczył, o ile doktorant nie był zatrudniony. A druga rzecz, która miała też istotny wpływ, to była nowelizacja rozporządzenia, która polegała na tym, że jeżeli popełniono błąd w raportowaniu publikacji do PBN-u, na przykład pomylono autora, datę zatrudnienia, to cała publikacja była dyskwalifikowana. Teraz jest anulowany tylko udział danej osoby. W związku z tym, gdy na przykład była publikacja 140-punktowa, czterech autorów, po 35 punktów każdy, i gdy udział jednego zakwestionowano, to przedtem znikała cała publikacja i nic na to miejsce nie można było wstawić. Teraz znika tylko te 35 punktów, ale 105 punktów dalej instytucji zostało, czyli ci, którzy prawidłowo zaraportowali dorobek, wnoszą swoje udziały do dorobku instytucji. To chyba najistotniejsze zmiany, które się pojawiły i miały istotny wpływ na wynik ewaluacji. Liczba slotów, zgłoszonych osiągnięć pozostała niezmieniona. Nie było po prostu żadnej poważnej zmiany rozporządzenia, ale to wynika tylko z tego, że do zmiany rozporządzenia w tym wypadku wymagana jest zmiana ustawy. Zapisano w niej bowiem sporo rozstrzygnięć dotyczących ewaluacji, może i ogólnikowo, ale jednak one tam są i ograniczają wiele zmian w rozporządzeniu.

Jak wyglądała ewaluacja od strony tych, którzy ewaluowali, czyli Komisji Ewaluacji Nauki oraz ekspertów?

W Komisji Ewaluacji Nauki każdą dziedzinę reprezentuje trzech ekspertów. To wynika z ustawy. Tymczasem w poszczególnych dziedzinach pracuje zupełnie inna liczba badaczy. W dziedzinie nauk społecznych zgłoszono ponad dwieście podmioto-dyscyplin. Zatem z jednej strony trzech członków KEN zajmuje się dwustoma dyscyplinami nauk społecznych, a z drugiej też trzech weterynarią z ośmioma jednostkami do oceny. Co może ciekawe, niektóre dziedziny nie są w KEN reprezentowane w ogóle. Tak było również poprzednio. Jest to pewna niedoskonałość systemu. Tylko pięć osób z KEN ma doświadczenie z poprzedniej oceny. Pozostali to nowe osoby, które bardzo się starały i bardzo szybko uczyły, jak to działa. Natomiast ekspertów było prawie dwukrotnie więcej niż w poprzedniej ewaluacji – blisko 1500. Napisaliśmy do wszystkich jednostek naukowych prośbę, aby do każdej dyscypliny, która jest reprezentowana w instytucji, wskazano nam dwóch ekspertów, obawiając się, że część osób odmówi udziału w ewaluacji. Tymczasem tym razem większość zgodziła się pracować. Oczywiście, liczba zadań do oceny była bardzo różna w różnych dyscyplinach, a zatem poziom przydzielania zadań ekspertom był bardzo różny, zależnie od dyscyplin. Jedni mieli dużo pracy, inni znacznie mniej.

W KEN każda dyscyplina ma swojego opiekuna. Nie odpowiada on za merytoryczną ocenę, ale za bezpośredni kontakt z ekspertami, którzy oceniają. Zapewnia im pomoc, a na dodatek w sytuacjach, gdy jeden z ekspertów wyda pozytywną decyzję co do osiągnięcia, a drugi negatywną, wtedy trzecim ekspertem, rozstrzygającym o uznaniu osiągnięcia bądź nieuznaniu go, staje się członek KEN. Więc oprócz pracy organizacyjnej, czyli pilnowania terminów, wspierania organizacyjnie i administracyjnie wszystkich ekspertów, sami także występowaliśmy w paru tysiącach przypadków jako eksperci oceniający pracę ekspertów. Takich sytuacji, gdy to myśmy podejmowali ostateczne decyzje, było około pięć tysięcy. W Systemie Ewaluacji Dorobku Naukowego zgłoszono ponad 400 tysięcy osiągnięć naukowych, z czego w około 50 tysiącach przypadków system zasygnalizował wątpliwości co do wartości, poprawności osiągnięcia. Wtedy trzeba było odwołać się do opinii ekspertów, a we wspomnianych pięciu tysiącach przypadków ostateczną decyzję musieli podjąć sami członkowie KEN, opiekujący się daną dyscypliną. Podjęto też decyzje o ponad dwudziestu tysiącach osiągnięć artystycznych. To była ocena ekspercka, bo tylko taka funkcjonuje w dziedzinie sztuki. Także w kryterium trzecim była pełna ocena ekspercka. To było mniej więcej osiem i pół tysiąca decyzji. W sumie zatem decyzji podjętych w SEDN łącznie z decyzjami dotyczącymi osiągnięć artystycznych było około siedemdziesiąt cztery tysiące.

Faktycznie jest tak, że my pobieramy osiągnięcia, które zostały zarejestrowane w POLonie – projekty, granty, liczby N i tak dalej – a publikacje oczywiście z Polskiej Bibliografii Naukowej. Osiągnięć, które się rejestruje do ewaluacji, jest blisko milion, co nie znaczy, że wszystkie się uwzględnia. Są bowiem ograniczenia, jak choćby limit liczby publikacji, którą może wykazać jednostka. Chodzi o 3N, czyli jeśli mamy 100 tysięcy pracowników naukowych, to w ewaluacji może pojawić się około 300 tysięcy publikacji. Tak samo jest limit na usługi i komercjalizację, który wynosi 10N. Gdy się to wszystko uwzględni, to algorytm optymalizujący, który maksymalizuje wynik uzyskany przez daną jednostkę, pokazał około 400 tysięcy zdarzeń, które weszły do systemu ewaluacji.

Jak wyglądało przyjęcie wartości referencyjnych?

Wartości referencyjne są przyjmowane dwuetapowo. W pierwszym etapie proponuje je Komisja Ewaluacji Nauki, opierając się na wskazaniach z rozporządzenia. Po pierwsze zatem, uwzględnialiśmy rozkład wyników w danej dyscyplinie. Jest dyscyplina, w której w kryterium pierwszym 300 punktów to dużo, a jest taka, w której dużo to 400 punktów. Druga rzecz, którą się bierze pod uwagę, to pozycja międzynarodowa dyscypliny. Jeżeli jakaś dyscyplina jest bardzo dobra, ma dużo jednostek o międzynarodowej renomie, to znaczy, że pojemność kategorii A powinna być w niej duża. Trzeba rozróżniać dwie rzeczy: wyznaczenie parametrów ewaluacji a potem kategoryzacji. Wyznaczamy jednostki wzorcowe na podstawie rozkładu wyników w dyscyplinie i na podstawie pozycji międzynarodowej, która determinuje pojemność kategorii A, B+ i w konsekwencji B i C. Rozbijam to na A, B+ oraz B i C dlatego, że te dwie pierwsze kategorie są warunkiem koniecznym, żeby mieć uprawnienia do nadawania stopni naukowych. Później ustala się dodatkowe parametry, ale najpierw trzeba było ustalić jednostki wzorcowe dla poszczególnych dyscyplin. To były tylko wartości startowe. Są dwa powody, dla których tak się dzieje. Pierwszy jest taki, że mamy jeden model dla wszystkich dyscyplin. To jest trochę tak, jak na metce ubrania, na której napisano: one size fits all, jeden rozmiar dla wszystkich, dla uczelni i instytutów naukowych, dla małych i bardzo dużych jednostek. Jednak czasami on nie do końca pasuje. Dlatego w KEN zaczynamy od wartości startowych, wynikających z tego algorytmu i otrzymujemy pewną propozycję. I dopiero wtedy patrzymy na rozkład. Jeżeli w jednej dyscyplinie mam sześć jednostek w całej Polsce, to przesunięcie granicy o jeden oznacza zmianę o 17 procent. A gdy mamy 50 jednostek w dyscyplinie, przesunięcie o jedną to zaledwie dwuprocentowa zmiana w rozkładzie. Poza tym na przykład mamy w dyscyplinie trzy jednostki o identycznym wyniku – one muszą się znaleźć w tej samej kategorii. Nie może być tak, że nagle postawimy między nimi kreskę. Po tym pierwotnym algorytmie przy budowaniu wartości startowych w oparciu o rozkład i pozycję międzynarodową każda decyzja była indywidualnie analizowana, by w końcu ustalić wartości referencyjne. W tej ewaluacji były one w kryterium pierwszym zdecydowanie wyższe niż wartości referencyjne w poprzedniej ewaluacji; w kryterium drugim były podobne, a w kryterium trzecim zawsze są podobne, bo tam jest ustalony z góry limit punktów od zera do stu. Te wyniki zanieśliśmy do pana ministra, bo zgodnie z rozporządzeniem KEN przedstawia propozycję, a decyzja w sprawie wartości referencyjnych należy do ministra nauki. I muszę uczciwie przyznać – to nie jest żadna tajemnica – że minister negocjował z nami, ale prawdę mówiąc, zgodził się ze zdecydowaną większością naszych propozycji. Decyzja ministra praktycznie pokrywa się z propozycjami KEN. Pełny szacunek. Myśmy włożyli ogromną pracę, żeby to przygotować, bo zależy nam na tym, żeby wynik był zdroworozsądkowy w warunkach, jakie mamy, żeby środowisko nie mówiło, że ktoś jakieś bzdury zrobił. Tak doszliśmy do wartości referencyjnych, które zostały opublikowane i można je sprawdzić. W mojej ukochanej fizyce, na przykład w kryterium pierwszym, wartości punktowe jednostek są średnio o 80-90 punktów wyższe, niż w poprzedniej ocenie. To znaczy, że jeśli ktoś pisał dawniej do czasopism za sto punktów, to teraz publikuje w tych, które mają ich 140. Natomiast wartości referencyjne w K2 są podobne, no i to jest przykry wniosek.

Dlaczego?

Bo to znaczy, że wyniki w K2 są takie, jak cztery lata temu, że pomimo inflacji nie pojawiło się w systemie więcej pieniędzy, czyli naukowcy nie zdobyli więcej grantów, nie uzyskali więcej środków zewnętrznych. Gdy się patrzy na te parametry, to może pojedyncze jednostki uzyskały więcej, ale większość ma bardzo zbliżony wynik do tego sprzed czterech lat. To nie jest optymistyczne spostrzeżenie. Widać, że podniosła się jakość. Publikujemy w lepszych, wyżej punktowanych czasopismach, ale ze zdobywaniem środków na naukę ze źródeł zewnętrznych mamy problemy.

Jak wygląda ewaluacja od strony tych, którzy się ewaluują, czyli uczelni, instytutów?

Widać kilka trendów. Pierwszy to mobilizacja, gdyż pozycja międzynarodowa wielu dyscyplin się poprawiła w porównaniu z poprzednim ocenianym okresem. Poprawiły się wyniki czysto naukowe. Również w kryterium trzecim, chociaż tam można jedynie posługiwać się medianą, bo przedział od zera do stu punktów jest z góry narzucony, średnia jest wyższa, gdyż osiągnięcia zostały wyżej ocenione. Pierwsza taka ewaluacja była nowością, musieliśmy się jej nauczyć, jakoś się do niej przystosować. Teraz chyba wszyscy lepiej ją zrozumieli. Sporo jednostek zrobiło progres w stosunku do poprzedniej oceny. Tutaj jednak jest jeden problem, który stoi po stronie rozporządzenia, ale i jednostek: polska ewaluacja uwzględnia w tej samej ocenie jednostki o skrajnie różnych rozmiarach. Mamy jednostki o bardzo dużych N. Nie mówię już o naukach medycznych, bo tam N jest astronomiczne, nawet 700-800. Natomiast mówimy o średnim N, powiedzmy 100, ale przecież mamy też N poniżej 10. Przykładanie do nich tej samej miary budzi wątpliwości, a wydaje się, że część jednostek, w których powstały nowe dyscypliny, przez dwa–trzy lata praktycznie nikogo nie zatrudniały, a w ostatnim roku pojawiła się nagle wymagana liczba 12 pracowników. Jednak średnia z czterech lat wychodziła dużo niższa, poniżej cztery, czasami cztery–pięć. Potencjał naukowy jednostek, które zatrudniają stu badaczy przez całe cztery lata, jest zupełnie inny niż tych małych. Ile projektów może zrealizować jednostka, która ma N równe cztery? To, że porównujemy tak skrajnie różne jednostki, jest pewną niedoskonałością systemu. W projekcie nowelizacji ustawy jest propozycja zapobieżenia temu zjawisku poprzez wymóg, aby 10 osób było zatrudnione w każdym roku ewaluacji, a nie tylko na koniec ostatniego. Gdy tworzy się nowa dyscyplina, to można sobie wyobrazić, że startujemy z mniejszej liczby, na przykład 5, potem jest 10, 15, 20, ale średnia z tych pięciu lat ewaluacji powinna być 10.

Muszę przyznać, że w tej ewaluacji jest zdecydowanie mniej błędów niż poprzednio. To znaczy, że jednostki zrozumiały, jak to trzeba zrobić i starały się poprawnie wypełnić osiągnięciami poszczególne kryteria. Są jednostki o skrajnie różnych N i wyobrażam sobie, jak w kryterium trzecim cztery osoby w dyscyplinie wykazują wpływ nauki na społeczeństwo, na gospodarkę. To nie jest dobrze. Liczba zapytań, listów, które dostawaliśmy w tej sprawie, była nieduża. Czyli po tych czterech latach reguły były znane, abstrahując od ich oceny, i jednostki potrafiły sobie z tym dać radę.

Jakim wysiłkiem i kosztem? Czy uczelnie korzystały z usług zewnętrznych firm w celu przygotowania do ewaluacji?

Na pewno dużym wysiłkiem. Pewnie zajęło to sporo czasu i jakieś zespoły ludzi przygotowywały materiały do oceny. Co do zewnętrznej pomocy, mogę dać przykład mojej uczelni i kilku znanych mi uczelni krakowskich. Nie korzystaliśmy z zewnętrznej pomocy. Robiliśmy wszystko własnymi siłami, bo mieliśmy już doświadczenie. Powiem szczerze, powoływanie zewnętrznych firm może się odbić tak naprawdę tylko na kryterium trzecim, bo liczba zaraportowanych w PBN-ie publikacji nie zależy od firmy zewnętrznej. Tyle mamy prac, ile mamy i w tych czasopismach, w których mamy. Niczego tu nie da się zmienić. Algorytm optymalizujący zawarty w SEDN i tak maksymalizuje wynik w kryterium pierwszym, czyli dobiera takie publikacje i takie udziały, żeby wynik jednostki był maksymalny. Drugie kryterium to są środki zdobyte. I znów: mamy tyle projektów, ile mamy. Możemy ewentualnie liczyć na to, że ktoś pomoże w usługach i w komercjalizacji, ale tu jest limit 10 N. To jest 10 tysięcy złotych za punkt razy 10, czyli 100 tysięcy złotych na osobę. No więc, jak mam N równe na przykład 20, to za cały okres ewaluacji w tym obszarze mogę wykazać tylko 2 miliony złotych. To jest jasna sprawa. Jedyne miejsce, gdzie mogą pomóc firmy zewnętrzne, to jest kryterium trzecie, czyli opisanie dowodów wpływu naszych badań i ich wyników na społeczeństwo i gospodarkę. Firma zewnętrzna z odpowiednim przygotowaniem mogłaby pomóc lepiej to opisać, uwypuklić to, co trzeba.

Nasza ewaluacja w gruncie rzeczy bardzo przypominała brytyjski REF. Oni też oceniają jakość wyników (output), czyli publikacje, monografie, środowisko wspierające badania naukowe (environment), czyli pozyskiwanie pieniędzy z zewnątrz, od interesariuszy, uwzględniają też wpływ nauki poza środowiskiem akademickim, wpływ na społeczeństwo (impact). Ale uczciwie mówiąc, bazujemy na własnych osiągnięciach. Można różne rzeczy pisać, ale eksperci widzą i rozumieją, jak to działa i są w stanie ocenić to, co opisujemy. Jest prawdą, że w każdej ocenie eksperckiej znajdą się eksperci łagodni – gołębie i surowi, czyli jastrzębie. Punktacja mogła być różna, ale z grubsza nie widać było w dyscyplinach jakichś rozrzutów. Przyglądaliśmy się, czy nie ma bardzo dziwnych zdarzeń. Zwłaszcza, że w tej ewaluacji jest wprost zapisane w rozporządzeniu, że ekspert wiodący, jeden z dwóch, wystawia końcową ocenę w oparciu o porozumienie z tym drugim. Musi się z nim skonsultować, musi uwzględnić jego ocenę. Jeżeli jeden dał wysoką cenę, a drugi niską i nie potrafili dojść do porozumienia, to nie wpływaliśmy na nich, wskazując rozwiązanie, ale namawialiśmy do dyskusji. A jak będą wyglądały odwołania od tych decyzji, szczerze mówiąc nie wiem.

Z czym instytucje naukowe miały największy problem?

Jeżeli chodzi o publikacje, wszyscy poprawili wyniki, ale trzeba powiedzieć uczciwie, że nie oceniamy na podstawie wartości bezwzględnych. To jest porównanie, odniesienie do innych. Wartość referencyjna odzwierciedla jakąś średnią, jakiś punkt odniesienia. Wydaje mi się, że uczelnie mogły mieć problemy z wykazaniem usług zleconych, komercjalizacji, bo nie wszyscy wypełnili limity, które były dla nich dostępne. Pieniędzy z zewnątrz, z otoczenia gospodarczego, dla uczelni nie ma. Uczelnie techniczne miały łatwiej ze zleceniami zewnętrznymi. Ale jestem w stanie zrozumieć, że na uniwersytecie, gdzie jest sporo nauk humanistycznych, społecznych, może brakować takich zleceń. A drugi problem to K3, czyli opisy wpływu. Wciąż nie wiemy, jak to robić. Szczególnie małe jednostki miewały kłopot z opisami wpływu.

Jaki wpływ na ewaluację miała pozycja międzynarodowa dyscyplin?

Miała dość znaczący wpływ. Powiem o co chodzi. Zmieniły się kryteria do uzyskania kategorii A+, która dawniej była wyznaczana tylko na podstawie kryterium pierwszego. Na dodatek jeszcze miała pewną słabość, a mianowicie porównywano się do najlepszego. Trzeba było uzyskać nie mniej niż 80% najlepszego wyniku, żeby w ogóle kandydować. Często zdarza się, że jakaś jednostka odbija w górę i właściwie odbiera pozostałym szansę na kandydowanie do A+. Mieliśmy w zeszłej ewaluacji takie sytuacje w kilku dyscyplinach. Konferencje rektorów zwróciły uwagę, że skoro o wyniku ewaluacji decyduje ocena wszystkich trzech kryteriów, to tak samo o kwalifikacji do kryterium A+ powinny zdecydować wszystkie kryteria. W związku z tym zaproponowaliśmy, by najlepsi z kategorią A byli kandydatami do A+. Gdy na przykład w dyscyplinie jest sześć jednostek z kategorią A, to niech trzy górne będą kandydatkami do A+. Wtedy decyduje miejsce, a wynik ewentualnego komina nie ma znaczenia.

Czy w tej ewaluacji nie pojawiły się takie szpice?

W kryterium pierwszym rozkład był dość płaski, tak jak poprzednio, i tego się chyba należało spodziewać, aczkolwiek są dyscypliny, gdzie pojedyncze jednostki uzyskały bardzo wysoki wynik, i gdyby brać pod uwagę tylko kryterium pierwsze przy kandydowaniu do A+, to powtórzyłaby się ta sama sytuacja, co poprzednim razem. Natomiast były też dyscypliny, w których rozkład jest w miarę równomierny i pierwsza jednostka nie przewyższa znacząco pozostałych. Wtedy nie uzyskuje ona pełnego przewyższenia nad wartością referencyjną. W wyniku tego mieliśmy sytuację, że w najlepszej dyscyplinie w Polsce, która zajęła najwyższe miejsce w rankingu światowym, połowa jednostek, które uzyskały kategorię A, stała się kandydatkami do A+. Ale pozycja międzynarodowa, co jest zapisane w rozporządzeniu, wpływała na to tak, że dla kolejnych dyscyplin ten odsetek zaczynał maleć, a zatem w ostatniej dyscyplinie na liście znaczenia międzynarodowego do A+ kandydowała już tylko jedna trzecia z tych, które miały kategorię A. Zwracam uwagę, że mówimy o ziarnistości struktury. Liczymy z dokładnością do jednej jednostki. Jeśli nam wyszło, że to powinno być 2,4 czy 2,5 jednostki, trzeba było zdecydować, czy kandydują trzy, czy dwie. Wszystkich kandydatek do kategorii A+ było tylko nieco więcej niż w poprzedniej ewaluacji, a trzeba wziąć pod uwagę, że mamy dziewięć nowych dyscyplin, w których są kandydaci do A+.

Ile to było jednostek?

Teraz było 191 kandydatek do A+, a w poprzedniej ewaluacji 174. Rekomendowane przez KEN dyscypliny oceniali dwaj eksperci: polski i zagraniczny. Jeżeli obaj dali rekomendację pozytywną, sprawa jest jasna; jeśli obaj powiedzieli nie, to też jasne. Jednak były sytuacje, gdy dyscyplina dostała jedną ocenę pozytywną, a drugą negatywną. W takich przypadkach decyzję podejmował minister, który zasięgał opinii członków KEN. I myśmy rekomendowali pewne dyscypliny, oczywiście z uzasadnieniem.

Jaki był rozkład procentowy dyscyplin rekomendowanych przez KEN do poszczególnych kategorii naukowych?

W uchwale KEN liczba jednostek w kategorii A+ była rzędu 6%, kategorii A około 34%, kategorii B+ 48%, B razem z C – 12%. Ponadto KEN rekomendował do kategorii A+ dodatkowo 2,5% jednostek (z rozbieżną oceną ekspercką).

Mamy oczywiście problem z uprawnieniami do nadawania stopni naukowych. W projekcie nowelizacji ustawy PSWN oprócz wymogu posiadania odpowiedniej kategorii naukowej dodano parametr kadrowy: do doktoryzowania jednostka musi zatrudniać pięciu samodzielnych, a do habilitowania dziesięciu samodzielnych pracowników nauki. Nie zdecydowano się, żeby powiedzieć, ilu profesorów tytularnych, czyli mogą być to sami doktorzy habilitowani. To jest słuszna droga. Gdyby ten wymóg zastosować w poprzedniej ewaluacji, to znaczny procent jednostek – myślę, że łącznie byłaby to 1/3 z tych, które były w kategorii A i B+ – nie miałby uprawnień akademickich.

To znaczy, że zamiast ponad 900 uprawnień byłoby ich 600?

Coś około tego.

Jak wygląda polska nauka w świetle tej ewaluacji?

Oczywiście cały czas porównujemy się do innych i narzekamy trochę na system ewaluacji. Ona ma w pewnym wymiarze ilościowy charakter, bo mamy dwa kryteria parametryczne: pierwsze i drugie, ale mamy też elementy oceny eksperckiej w trzecim kryterium i w kategorii A+. KRASP proponuje, żeby ocena była bardziej ekspercka, nawet całkowicie ekspercka, trochę przypominająca ocenę francuską. Tylko trzeba zdawać sobie sprawę, jakie są tego konsekwencje. Na przykład, trzeba mieć armię ekspertów, którym należy zapłacić, a to nie są małe pieniądze. Ekspert oceniający dyscypliny kandydatki do kategorii A+ otrzymywał w tej ewaluacji 4000 zł. To było 191 dyscyplin razy dwóch ekspertów i razy 4000 złotych. Druga rzecz, nasz system nie za bardzo odbiega od systemów europejskich. Oceniamy praktycznie te same kryteria, jak w systemach holenderskim, brytyjskim czy francuskim. Oceniamy wpływ na społeczeństwo i środki, chociaż robimy to trochę inaczej, bo ich stać na to, żeby mieć ekspertów, ale i na decyzję o zmniejszeniu liczby ocenianych osiągnięć – to jest różnica w stosunku do naszego wymogu 3N. Wiadomo, że nie ma takiej sytuacji, w której dokonujemy jednorazowej oceny całej nauki. To musi być ocena krocząca, bo jak w fizyce mam 33 jednostki, to nie mam 33 zespołów ekspertów, którzy w tym samym czasie pojadą i ocenią wszystkie. Najpierw sprawdzą jedną fizykę, potem drugą, potem trzecią, czwartą. Nasza obecna ewaluacja jest skrojona na nasze możliwości organizacyjne, finansowe, ale perspektywa oceny działa mobilizująco. Musimy zawsze zadawać sobie pytanie, jakie typy aktywności naukowej chcemy oceniać, bo z tego wynikają kryteria, mierniki, parametry. Oceniamy to, co cała Europa. Nie jesteśmy daleko. Czy te wskaźniki, które zbieramy, odzwierciedlają jakość i skuteczność? Tu można dyskutować. Przetacza się dyskusja na temat niektórych czasopism, które uważa się za słabe, a w których dużo publikują Polacy. No i wreszcie sposób zbierania danych, czyli co i jak powinno być raportowane. System POL-on i system PBN się sprawdzają. Naprawdę nie ma za dużo wpadek. Są pewne rzeczy, które można by udoskonalić, na przykład raportowanie grantu, gdzie jest możliwość wybrania spoza słownika i wpisania czegokolwiek z palca, co wymaga od nas potem sprawdzania. Jaki jest cel systemu, dlaczego trzeba robić ewaluację, jaką ma pełnić funkcję: czy oceny tego, jak wydawane są środki na naukę, czy oceny jakości badań, czy promowania doskonałości w nauce. Tego nie wiem. Natomiast mogę powiedzieć, że jakość badań w Polsce jest lepsza niż dawniej. Uważam, że wpływ na to ma właśnie ewaluacja. A pozycja międzynarodowa jest moim zdaniem obiektywnym wskaźnikiem. Jeżeli przyjmiemy jakąś metodologię liczenia, lepszą czy gorszą, ale będziemy się jej trzymać, to będziemy mogli z roku na rok porównywać, jak to się zmienia. Teraz możemy powiedzieć, że mamy w tym zakresie progres w zdecydowanej większości dyscyplin. Możemy być dumni. Pójście do góry o jedno czy dwa miejsca w świecie, jak się już jest blisko sufitu, nie jest takie łatwe, to już jest duży sukces.

Widzi pan przyszłość przed taką ewaluacją?

Na pewno tak. Zastanawiam się nad jeszcze jedną różnicą, która istnieje pomiędzy systemami brytyjskim czy francuskim, a systemem polskim. Otóż tamtejsze odpowiedniki naszej komisji są niezależne od rządu, ministerstwa. Oczywiście, są zależne w tym sensie, że ktoś musi ich działalność finansować, ale członkowie tych gremiów podejmują samodzielne decyzje, a minister nauki jest organem odwoławczym. Tymczasem Komisja Ewaluacji Nauki nie jest instytucją publiczną. Jesteśmy jednym z oddziałów ministerstwa, zespołem doradczym i opiniodawczym, który dokonuje oceny, ale to są tylko sugestie, bowiem ostateczne decyzje podejmuje minister. I odwołania też kierowane są do ministra.

Czy lepiej by było, gdyby Polska miała taką niezależną instytucję ewaluacyjną?

Wydaje mi się, że tak. Byłoby lepiej w tym sensie, że to zapewniałoby większą stabilność. Łatwo mi sobie wyobrazić, że zmienia się ekipa polityczna i zmienia się na przykład wykaz czasopism czy inne reguły gry. Z jednej strony wszyscy narzekają na ewaluację, z drugiej nie ma konkretnych zarzutów. Byłem członkiem poprzedniej komisji i powiem szczerze: po ewaluacji nie było głębokiej analizy i nie dotarły do mnie głosy typu „jak to się mogło stać, że tak wybitna jednostka dostała tak niską kategorię” albo odwrotnie, że „tak słaba jednostka dostała wysoką”.

Były, choćby Instytut Filozofii i Socjologii PAN.

To był jeden głos na 1145 ocenionych dyscyplin. To jest mało. To był wynik tego, że jeden system ocenia wszystkich. I filozofów, i fizyków, i filologów, jeżeli już się czepiamy dyscyplin na literę f.

Mówił pan o tym, że nie we wszystkich dyscyplinach eksperci mieli tyle samo pracy. Czy to należy zmienić i jak?

To wynikało z kilku faktów. Liczby ekspertów zgłoszone w różnych dyscyplinach były odmienne. Było z góry wiadomo, ile potrzebujemy ekspertów, jakie będą osiągnięcia i tu był rozkład w miarę równomierny. Natomiast w kryterium pierwszym i drugim nie jesteśmy w stanie przewidzieć od razu, ile będzie niedoskonałości, budzących wątpliwość wpisów. Natomiast były dyscypliny, w których było niewielu ekspertów, a pojawiło się sporo wydarzeń, które trzeba było ocenić i wtedy oni mieli więcej pracy. Przewidując to, daliśmy ekspertom więcej czasu na ocenę tych zdarzeń. Nie zawsze było oczywiste, ilu ekspertów będzie potrzeba. Przykładem niech będzie kategoria A+. Gdy powoływaliśmy ekspertów, nie mogliśmy przewidzieć, ile będzie kandydatek do tej kategorii, a potrzebujemy dwóch do oceny każdej. Mogło się okazać, że mamy ich za dużo. Każdego eksperta uprzedzaliśmy, że w chwili, kiedy ich zapraszamy na szkolenia, na instruktaż, nie gwarantujemy, że będą powołani do oceny.

Czy przewodniczący Komisji Ewaluacji Nauki chciałby powiedzieć, jak powinna wyglądać w Polsce ewaluacja w przyszłości?

Moim zdaniem powinno to zmierzać w stronę ewaluacji eksperckiej, jednak nie przewodniczący KEN powinien o tym decydować. Raz, że mam swoje lata, swoje wyobrażenia, bo reprezentuję określoną dyscyplinę i mój określony punkt widzenia – z perspektywy nauk ścisłych – może być zupełnie inny niż w innych dziedzinach wiedzy. Przewodniczący KEN powinien posłuchać. Wiele osób nie kwestionuje ogólnej idei ewaluacji, tego, jak to ma być oceniane, ale większość osób zwraca uwagę na szczegóły, na przykład na poszczególne parametry. Przykładem jest ta nieszczęsna liczba N. Aby dyscyplina mogła podlegać ewaluacji, to trzeba było w niej mieć 12 pracowników naukowych 31 grudnia ostatniego roku ewaluacji. Można było mieć przez trzy lata zero, w ostatnim roku 12 i średnia pracowników na jeden rok wypada trzy. Tak nie powinno być. A więc diabeł tkwi w szczegółach. W tej chwili, kiedy będziemy czytać nowelizację ustawy, i tak jeszcze dużo się nie dowiemy, bo na przykład w ustawie w artykule 267 jest napisane, że minister właściwy do spraw szkolnictwa wyższego określi w drodze rozporządzenia… i tu następuje cała litania parametrów. Ustawa ich nie precyzuje. Więc tak naprawdę o tym, jak będzie wyglądać kolejna ewaluacja, dowiemy się dopiero, gdy pojawi się projekt rozporządzenia ewaluacyjnego. Teraz mamy mieć nowelizację ustawy, która musi przejść przez Sejm i Senat, a jeszcze prezydent musi ją podpisać, a za rok mamy wybory. Gdy to się uda, wtedy będzie czas na pokazanie nowej wersji rozporządzenia. Mimo zatem optymistycznych deklaracji władz resortu, po drodze mamy kilka etapów, które nie muszą pójść gładko. Powtórzę, wydaje mi się, że lepiej by było, gdyby ewaluację robiła jednostka jakoś niezależna od ministerstwa. Żeby to nie było tak, że wartości referencyjne na koniec ustala minister, i że o kategoriach na końcu decyduje minister. W wersji łagodnej byłby etap negocjacji, gdy KEN w porozumieniu z ministrem ustala te wartości i wyniki. Wtedy też zdjęto by trochę presji z ministra. Jeżeli mielibyśmy dyskutować, to powinniśmy się zastanowić, jakie typy aktywności naukowej chcemy oceniać, czy liczbę publikacji, czy może jednak ich jakość. Jakość czy skuteczność? A może i jakość, i skuteczność? To wszystko będziemy mogli dyskutować w momencie, gdy pojawi się projekt nowego rozporządzenia po wejściu w życie znowelizowanej ustawy. Najważniejsze proponowane zmiany, które chyba nie budzą wątpliwości, są takie, że chcemy wydłużyć okres ewaluacji do pięciu lat oraz to, że mamy mieć dziesięciu pracowników w dyscyplinie, ale w każdym roku ewaluacji, a nie tylko na koniec. Dyskutujemy wagi poszczególnych kryteriów. Może trzeba zmienić proporcje? Nad tym się można zastanawiać, bo to jest problem jakości i skuteczności. Mamy teraz w naukach ścisłych 60% za publikacje, 20% za efekty finansowe i 20% za wpływ. Jeżeli ma być zwiększony udział komercjalizacji, można to zrobić zmieniając wagi, na przykład publikacje nie mają 60%, ale tylko 50%, za to komercjalizacja nie 20 a 30%. Gdyby chcieć myśleć naprawdę poważnie o całkowitej zmianie stylu ewaluacji, to trzeba się teraz za to zabrać. Żeby nie było znów takiej sytuacji, że zaczął się nowy okres ewaluacji, a my nie wiemy, jak ona ma wyglądać.

Czy instytuty naukowe powinny być oceniane tak samo jak uczelnie?

Myśmy mówili o tym, że udział badań naukowych na uczelniach i w instytutach w czasie pracy nie jest jednakowy, dlatego że na uczelniach jest dydaktyka, i jest jej sporo, i jest ona absorbująca; nie cały czas pracujemy naukowo. Jeszcze w starym Komitecie Ewaluacji Jednostek Naukowych, gdy były oceniane wydziały i były grupy wzajemnej oceny, był podział, o którym pan mówi, mianowicie wartości referencyjne, do których się porównujemy, były inne dla instytutów, a inne dla uczelni. Teraz natomiast jest propozycja zmiany liczby wymaganych slotów dla pracowników naukowo-dydaktycznych z uczelni i pracowników badawczych z instytutów. Jeżeli każdy z pracowników badawczych musiałby zapełnić trzy sloty, to może pracownicy naukowo-dydaktyczni musieliby zapełnić dwa. Takie rozwiązanie może się znaleźć dopiero w rozporządzeniu, które powstanie po nowelizacji ustawy. Gdy pojawi się nowy projekt rozporządzenia, to trzeba będzie zrobić symulację na wynikach tej ewaluacji. Wtedy zobaczmy, jaki byłby skutek takiej zmiany. Gdyby się okazało, że niczego to nie zmieni, to możemy sobie dać spokój. A jak zmieni bardzo dużo, to sprawdzimy, czy te zmiany nie wypaczą wyników ewaluacji. Ważne jest, żebyśmy zaraz po wypracowaniu projektu rozporządzenia mogli zrobić szybkie symulacje komputerowe na wynikach aktualnej ewaluacji przy nowych regułach. Zobaczymy co się stanie i wtedy będziemy mogli się wypowiedzieć o tym, co chcemy mierzyć: jakość czy skuteczność, a może jedno i drugie? Pierwsze kryterium odzwierciedla jakość. Drugie miesza jakość ze skutecznością, bo to są zdobyte granty, a wreszcie skuteczność oceniamy w trzecim kryterium.