logo
FA 1/2024 informacje i komentarze

Marek Kosmulski

Instrukcja pudrowania trupa

W umowie koalicyjnej, podpisanej 10 listopada 2023 przez liderów Koalicji Obywatelskiej, Trzeciej Drogi i Nowej Lewicy, jest zdanie o zmianie systemu punktacji za publikacje naukowe. Zmienić, ale jak? Z jednej strony ogólna zasada „dziedziczenia prestiżu” jest sama w sobie wadliwa, ale też rezygnacja z listy punktowanych czasopism potrzebowałaby gruntownej zmiany całego systemu ewaluacji nauki, co wymaga czasu i nie gwarantuje sukcesu. Z drugiej strony, zamiast rewolucyjnych zmian można (przynajmniej przejściowo) wprowadzić niewielkie poprawki w systemie punktacji publikacji naukowych, nie zmieniając ogólnych zasad, chociaż wielu uzna to za „pudrowanie trupa”.

Przy wielu wadach, ocena działalności naukowej na podstawie dobrze ułożonej listy punktowanych czasopism ma również pewne zalety w odniesieniu do uniwersyteckiej fizyki, chemii i biologii (ale nie do nauk humanistycznych i społecznych), muszą jednak być spełnione pewne warunki.

Punktacja czasopism musi być adekwatna. Abstrahując od kuriozalnych przykładów szeroko opisywanych w prasie, np. 200 punktów (wersja ministerialnej listy z 9.11.2023 r., dostęp 27.12.2023 r.) dla czasopisma „Cement, Wapno, Beton” (Cite Score 1,3, impact factor (IF) 0,7), mogę podać wiele innych przykładów, gdzie przypisanie czasopisma do dyscypliny oraz liczba punktów są zupełnie nieadekwatne. Moje doświadczenia i opinia naukowców z branży wskazują, że „JCIS” („Journal of Colloid and Interface Science”) jest znacznie lepszym czasopismem niż „Molecules” (akurat w obu czasopismach byłem w komitecie redakcyjnym), co potwierdzają Cite Score i IF, odpowiednio 15,5 i 9,9 dla „JCIS” oraz 6,7 i 4,6 dla „Molecules”. Trudno więc zrozumieć, dlaczego na ministerialnej liście punktowanych czasopism „JCIS” ma tylko 100 punktów, zaś „Molecules” aż 140. Nie wiem, czym się kierowała osoba przydzielająca punkty wbrew wskaźnikom bibliometrycznym i opinii środowiska, ale jeżeli tacy „eksperci” mają decydować o punktacji, to może lepiej, by decydowała o niej bibliometria w czystej postaci, bez „czynnika ludzkiego”.

Skala 200-140-100-70-40-20 wprowadza dużą przypadkowość. Zakładając, że 140 punktów odpowiada Q1, czyli górnej ćwiartce rankingu czasopism w dyscyplinie, 100 punktów – Q2 itd., czasopisma o prawie równym IF (Cite Score) mogą uzyskać znacząco różne liczby punktów ministerialnych (w wielu realnych sytuacjach uzyskanie 100 zamiast 140 punktów robi wielką różnicę). Na przykład najsłabsze czasopismo z Q1 i najlepsze czasopismo z Q2 (najsłabsze z Q2 i najlepsze z Q3 itd.) mogą się różnić pod względem IF (Cite Score) o 0,01 lub nawet o 0,001, co odpowiada jednemu lub paru cytowaniom. Lepsza od sześciostopniowej jest skala stustopniowa, w której przysługuje 1 punkt za każdy procent w skali centylowej, można nawet dopuścić wartości ułamkowe. Skala z większą liczbą stopni eliminuje wyżej opisaną przypadkowość i pozwala bardziej adekwatnie różnicować czasopisma. O ile w danej dyscyplinie w grupach Q2 i Q3 wartości IF (Cite Score) są zbliżone, to w grupach Q1 i Q4 różnice o kilkaset procent nie są rzadkością.

Należy ucywilizować przypisywanie czasopism i artykułów do dyscyplin. Obecnie panuje chaos: z jednej strony czasopisma z ministerialnej listy są przypisane do dyscyplin wbrew deklaracjom redakcji czasopism i wbrew klasyfikacjom w bazach Scopus i Web of Science (WoS), a z drugiej strony autorzy artykułów w czasopismach spoza „swojej” dyscypliny nie mają pewności, czy otrzymają za nie punkty. Nie ma tu prostych i dobrych rozwiązań, więc może lepiej zaliczać wszystkim wszystko. Jeżeli inżynier elektryk lub fizyk opublikuje samodzielny artykuł w „Lancecie”, to dlaczego nie mielibyśmy mu przyznać maksymalnej liczby punktów?

Liczba punktów za artykuł powinna być podzielona przez liczbę współautorów bez względu na ich afiliację i przypisanie do dyscypliny. Obecnie jedna praca wieloautorska może wygenerować parę tysięcy punktów, jeżeli autorzy mają różne afiliacje, a nawet przy tej samej afiliacji, jeżeli reprezentują różne dyscypliny, i system wręcz zachęca do fikcyjnego współautorstwa.

Ogólna koncepcja slotów jest słuszna, ale w aktualnej wersji zbyt radykalna. Przypuszczalnie chodziło o to, by uniemożliwić uzyskanie dobrego wyniku przez hurtową produkcję prac 20– lub 40-punktowych, ale przy okazji wylano dziecko w kąpielą. Jeżeli ktoś potrafi seryjnie produkować prace 200– czy nawet 140-punktowe i nie ma ochoty na dopisywanie do nich fikcyjnych współautorów, to taka produkcja powinna mieć pozytywny wpływ na ocenę jednostki, nawet jeżeli zdolny i pracowity naukowiec wypełni nimi 10 slotów rocznie.

Za listy do redakcji, krótkie komunikaty itp. w najlepszych czasopismach powinny być przyznawane punkty (np. połowa punktów przyznawanych za regularny artykuł, obecnie zero punktów). Te krótkie publikacje kreują więcej cytowań i przynoszą większy prestiż niż regularne artykuły w marnych czasopismach. Na przykład jeden tylko list do redakcji „New England Journal of Medicine” opublikowany w 2020 roku i liczący 2 strony ma trzykrotnie więcej cytowań niż wszystkie artykuły opublikowane w całej historii 200-punktowego czasopisma „Cement, Wapno, Beton”.

Dzielenie wyniku przez liczbę N i „klątwa N0” (dotkliwe karanie jednostek za każdego pracownika, który w ocenianym okresie nie wyprodukował punktów za publikacje) powodują komplikacje, niejasności i zachęcają do manipulacji. Jako przykład można podać jednostki balansujące na granicy minimum kadrowego. Całkowity dorobek jednostki (bez dzielenia przez liczbę pracowników i dodatkowych kar za „nieproduktywnych” pracowników) jest bardziej adekwatny w kontekście praw do doktoryzowania i habilitowania.

Powyższa lista propozycji nie oznacza, że stałem się entuzjastą listy punktowanych czasopism. Jedynie wskazuję, że wiele zależy od szczegółów. Ponadto ocena za publikacje jest tylko jedną z ocen cząstkowych, zaś pozostałe oceny cząstkowe i sposób wyliczania z nich oceny końcowej też pozostawiają wiele do życzenia.

Marek Kosmulski

Wróć