Maria Lewicka
Fot. Tytus Sosnowski
Zdaję sobie sprawę ze stopnia złożoności problemu ewaluacji jednostek naukowych. Przez cztery lata byłam członkiem KEJN, potem zespołu ewaluacyjnego, zespołu ds. ewaluacji czasopism (krajowych), zabierałam głos w sprawie ewaluacji wielokrotnie. Wiem jak bardzo jest to skomplikowane. Aktualnie jesteśmy po półmetku ewaluacji lat 2022-2025, trwa dyskusja na temat zasad oceny nauki, jakie będą obowiązywać od kolejnej czterolatki. Wiele osób już się na ten temat wypowiadało, proponując swoje rozwiązania. Mój pomysł zgłosiłam jako odpowiedź na inicjatywę Polskiej Akademii Nauk i „Forum Akademickiego” – „Nauka do naprawy”, tutaj przedstawię jego podstawowe założenia i uzasadnienie. Chcę podkreślić, że jest to pewien pomysł, a nie skończony system ewaluacji. Propozycja ta nakreśla kierunek, lecz nie precyzuje szczegółowych rozstrzygnięć.
A więc krótko, w kilku punktach: 1. Co należy usunąć, 2. Czym to coś należy/można zastąpić.
1. Należy nie tylko usunąć punktację czasopism wprowadzoną przez ministra Przemysława Czarnka, ale wyzerować całą dotychczasową punktację, co nie znaczy, że trzeba zupełnie zrezygnować z obiektywnych miar oceny dorobku naukowego. Niezależnie od absurdalnej punktacji czasopism krajowych wprowadzonych przez poprzedniego ministra, również punktacja pozostałych czasopism, jak zresztą w ogóle reguły ich punktowania i rangowania, wymagają ponownej refleksji.
2. Należy usunąć skomplikowany system liczenia slotów, ich pierwiastkowanie, dzielenie – trzeba to maksymalnie uprościć, aby każdy badacz mógł bez kalkulatora ocenić swoje dokonania, w tym swój wkład do oceny dyscypliny.
3. Należy odejść od zasady „ścinania makówek”, to znaczy równania do średniej w danej jednostce i obcinania dokonań wybitnych pracowników. W większości obszarów działania, też w nauce, obowiązuje zasada Pareto, co znaczy, że wkład do całości nigdy nie jest równomiernie rozłożony. W jednostkach naukowo-dydaktycznych są zarówno doskonali, jak i słabsi badacze, doskonali i słabsi dydaktycy, sprawni i mniej zaangażowani organizatorzy. Zwłaszcza w szkołach wyższych, w których istotną część pracy stanowi dydaktyka, wszystkie trzy grupy są jednakowo potrzebne. Na ogół mało jest osób, które są doskonałe w każdym z tych obszarów. Miarą osiągnięć jednostki naukowej są osiągnięcia najlepszych, a nie najgorszych czy średnich. Dlatego odgórne ograniczenia do czterech publikacji czy slotów na osobę nie pozwalają jednostce naukowej wykazać swoich najlepszych osiągnięć.
4. Absolutnie niezbędne jest podjęcie decyzji w sprawie tzw. czasopism drapieżnych i płatnych czasopism open access. Tu konieczna jest rola ekspertów, koniecznie z udziałem ekspertów zagranicznych. Wskazane przez nich czasopisma należy usunąć z analiz, nawet jeżeli figurują w bazach Scopus czy WoS.
Proponuję dwustopniowy system ewaluacji, łączący wskaźniki ilościowe z ocenami jakościowymi.
Cokolwiek można powiedzieć o systemie dotychczasowej punktacji, to uważam za uzasadnione jego wstępne założenie: oparcie wartości czasopisma na miarach liczby cytowań, czyli JCR w przypadku czasopism z listy WoS lub miar typu CiteScore w przypadku czasopism z listy Scopus. Od roku 2005, kiedy to w wyniku działań ministra Michała Kleibera została wprowadzona pierwsza obiektywna miara rangująca czasopisma, poprzez prace kolejnego ministerstwa pod kierunkiem Barbary Kudryckiej, w wielu dyscyplinach nauk, przede wszystkim społecznych, dokonała się prawdziwa rewolucja. Widać to bardzo dobrze na przykładzie psychologii, która zasadniczo przeorientowała swój profil publikacyjny z polskojęzycznych rozdziałów w krajowych monografiach oraz polskojęzycznych krajowych czasopismach na publikacje w wydawnictwach zachodnich, głównie anglojęzycznych. Niestety ten motywujący do intelektualnego wysiłku system rozjechał się wraz z posunięciami kolejnych ministrów i ich ciał doradczych. Pierwszym było bardzo wyraźne „rozdęcie” proponowanej punktacji, z poprzedniej zawierającej się między 15 a 50 (w interwałach 5-punktowych) na punktację 20, 40, 70, 100, 140 i 200. Miało to dowartościowywać najlepsze publikacje, tymczasem stało się powodem do licznych nadużyć. Drugim powodem było dopuszczenie ekspertów do modyfikowania punktacji czasopism opartej na obiektywnych wskaźnikach połączone z – absurdalnym w warunkach interdyscyplinarności współczesnej nauki – przypisywaniem czasopism do poszczególnych dyscyplin. Ponieważ do zadań ekspertów należała też ocena czasopism krajowych, ostateczny rezultat był często wynikiem nacisków i tendencyjności oceniających. Wreszcie trzecim powodem była niekontrolowana, oparta na czysto subiektywnych przesłankach, aktywność ministra Przemysława Czarnka, dzięki któremu system ocen czasopism się całkowicie rozjechał z miarami obiektywnymi. Jeżeli do tego dodamy lawinowy wzrost liczby czasopism wydawanych przez koncerny komercyjne, zwanych popularnie „drapieżnymi”, to otrzymujemy obraz, który skłania wiele osób do zarzucenia ewaluacji opartej na miarach cytowalności czasopism i zastąpienia jej ocenami eksperckimi.
Niestety, przyznaję to z przykrością, wszystkie dotychczasowe działania ewaluacyjne wykorzystujące krajowe oceny eksperckie, prowadzą do wniosku, że polska nauka nie jest do tego typu ewaluacji przygotowana. Mam na to wiele przykładów, a ostatnim są szeroko krytykowane eksperckie oceny tzw. kryterium III (wdrożenia). Nie znaczy to, że mamy z ocen eksperckich rezygnować, nic bowiem nie zastąpi dobrze udokumentowanej ewaluacji jakościowej. Niemniej, nie sądzę, aby należało na opiniach ekspertów oprzeć cały system ewaluacji. Stąd proponowane połączenie ocen ilościowych, bazujących na wskaźnikach obiektywnych oraz – dopiero w drugim etapie i to jedynie w stosunku do wybranych jednostek – ocen eksperckich.
Proponuję listę Scopus ze względu na największą pojemność – uwzględnia ona także czasopisma krajowe i reprezentujące szeroki wachlarz dyscyplin, w tym z nauk społecznych i humanistycznych. Proponuję uproszczenie „punktacji” ograniczone do najlepszego kwartyla, w którym lokuje się dane czasopismo (niezależnie od dyscypliny czy obszaru badań).
1. Jako źródło wskaźników ilościowych proponuję: (a) dla czasopism listę Scopus z pięcioma progami: top 10%, Q1, Q2, Q3, Q4 oraz na ostatnim, szóstym progu pozostałe czasopisma spoza bazy Scopus. Miarą ilościową dorobku jest proporcja artykułów w 3N publikowanych w czasopismach z określonego progu. Lista byłaby odświeżana co roku. (b) dla monografii – zwiększenie progów do przynajmniej trzech, a najlepiej czterech – liczone według rangi wydawnictwa.
2. Nauki społeczne są naukami empirycznymi i powinny być oceniane według tych samych zasad co nauki przyrodnicze i ścisłe, choć przyjęte progi mogą być inne. Jeśli idzie o humanistykę – zwłaszcza filologie – zostawiłabym to do decyzji odpowiednich środowisk.
3. Proponuję, żeby w danej jednostce (dyscyplinie) utrzymać zasadę 3N, przy czym każdy pracownik na etacie naukowo-dydaktycznym lub naukowym dostarcza po jednej swojej najlepszej publikacji, pozostałe 2N wypełniane jest najlepszymi publikacjami w latach oceny. Ogólny wskaźnik może być modyfikowany in plus lub in minus w zależności od odchylenia od proporcji Pareto 20:80 (im większe odchylenie sugerujące asymetryczność wkładu, tym mniejszą wagę przypisujemy danemu wynikowi).
4. Osobnej refleksji należy poddać ocenę publikacji wieloautorskich, zwłaszcza gdy autorów jest kilkudziesięciu lub nawet kilkuset. Proponuję wrócić do starej zasady, aby do 10 autorów publikacja liczyła się w całości każdej jednostce, z której pochodzą współautorzy, powyżej 10 autorów, aby był to odpowiednio mniejszy procent. Rozsądnym wydaje się jednak, żeby publikacja wieloautorska (powyżej 10 autorów) liczyła się w całości jednostce, gdy autor korespondencyjny lub pierwszy pochodzi z tej jednostki, dopiero pozostałym liczyłby się odpowiedni procent.
5. Ocena ilościowa jest punktem wyjścia do oceny jakościowej (drugi etap) i jest miarą tego, na ile pracownicy zatrudnieni w danej dyscyplinie publikują w obiegu międzynarodowym i w jak uznanych miejscach. Należałoby ustalić odgórny próg zaliczenia danej jednostki do określonej kategorii, na przykład poprzez odpowiednią proporcję publikacji w czasopismach z pierwszego kwartyla i/lub top 10% na liście Scopus lub rozdziałów/monografii z I poziomu listy – na przykład 75% złożonych prac w 3N z Q1 i/lub odpowiednia proporcja czasopism top 10%, oraz najwyższego poziomu wydawnictw dla kategorii B+.
Taki system pełniłby funkcję motywującą dla pracowników, a równocześnie dawałby im poczucie bezpieczeństwa, gdyż osiągnięcie określonego progu automatycznie przełoży się na określoną, łatwą do przewidzenia kategorię i nie zależy od innych jednostek w danej dyscyplinie.
1. Drugim etapem ewaluacji dyscypliny jest ocena jakościowa prowadzona przez zespół ekspercki, w tym obowiązkowo przez reprezentantów środowiska międzynarodowego. Ocena powinna dotyczyć wybranych przez jednostkę publikacji oraz jakościowego opisu osiągnięć. Powinno się w niej brać pod uwagę liczbę publikacji, których pierwszymi lub korespondencyjnymi autorami są pracownicy jednostki, oryginalność prac, ich cytowalność, obecność zespołów badawczych i ich osiągnięcia, liczbę grantów i ich jakość, otrzymane nagrody naukowe itd. Można przyjąć, że od tej oceny zależeć będzie przyznanie kategorii A i A+, ewentualnie modyfikacja (np. w górę) oceny wynikającej z wskaźników ilościowych.
2. Nie wszystkie jednostki będą przechodziły przez ocenę ekspercką, część (być może większość) będzie satysfakcjonowała kategoria B lub B+, jeżeli będą się z nimi wiązać odpowiednie uprawnienia (prowadzenia studiów, nadawania stopni). Odpowiednie określenie kryteriów oceny eksperckiej skutecznie zniechęci słabsze jednostki. Można przyjąć, że do oceny eksperckiej nie kwalifikują się w ogóle jednostki, które w ocenie ilościowej wypadły poniżej pewnego progu. Można też rozważyć częściową odpłatność ze strony jednostki za udział ekspertów w jej ocenie. Powinno to zachęcić do krytycznego spojrzenia na własny dorobek i oceny, na ile wynik uzyskany w procesie eksperckiej oceny skompensuje środki na nią wydane.
Taki system oznacza rezygnację z rangowania jednostek w ramach dyscypliny na rzecz przyjęcia pewnych progów minimum. Jeżeli w danym obszarze wszystkie jednostki osiągają ten próg, wszystkie otrzymują odpowiednią kategorię. Progi jednak powinny być jednoznaczne i uzasadnione merytorycznie. Można w tym celu wykorzystać wyniki ostatniej ewaluacji w kryterium I, przeliczone na odpowiednie kwartyle. Daje to jednostkom poczucie bezpieczeństwa, klarowne reguły gry i łatwość określenia swojej pozycji w stosunku do innych jednostek. Obecny system zdecydowanie deprecjonuje dobre dyscypliny – w dyscyplinach o dużych osiągnięciach dobra jednostka może uzyskać słabą pozycję w rankingu, podczas gdy w dyscyplinach słabych obiektywnie słaba jednostka może uzyskać wysoką pozycję w rankingu. W tym drugim przypadku nie wynika to z merytorycznej „specyfiki dyscypliny”, jak często się słyszy, tylko z mniej ambitnego, lokalnego stylu publikowania. W proponowanym systemie osiągnięcie określonego progu automatycznie kwalifikuje do pewnego minimum.
Wprowadzenie pierwszego etapu ewaluacji opartego na wskaźnikach obiektywnych uniezależnia też wyniki oceny od arbitralnych i czysto subiektywnych opinii ekspertów. Z kolei wprowadzenie drugiego etapu oceny – eksperckiego – sprawi, że jednostki zaczną myśleć o swoim dorobku nie wyłącznie w kategoriach punktów za publikację, lecz w kategoriach faktycznych osiągnięć.
