logo
FA 5/2021 życie naukowe

Marek Kosmulski

Skąd się bierze wysoki IF?

W ministerialnym systemie ewaluacji autorzy niecytowanych artykułów w czasopismach 200-punktowych otrzymują nie tylko trzykrotnie więcej punktów niż ich koledzy za niecytowane artykuły w czasopiśmie 70-punktowym, ale także trzykrotnie więcej punktów niż ich koledzy za cytowane artykuły w czasopiśmie 70-punktowym.

W FA 4/2021 Grzegorz Racki napisał: „(…) 90% (…) artykułów zamieszczanych w wysoko ocenianych periodykach osiąga sukces w postaci ponadprzeciętnej liczby cytowań i vice versa”. To zdanie, stanowiące zaprzeczenie reguły Pareta, ma potwierdzać prawidłowość oceniania dorobku naukowego na podstawie IF czasopism, w których opublikowano artykuły naukowe. Na poparcie swojej tezy Grzegorz Racki cytuje artykuł opublikowany w czasopiśmie naukowym, podając tylko tytuł artykułu i adres strony internetowej. Po sprawdzeniu okazuje się, że sam ten artykuł napisał, a opublikował go w „Archivum Immunologiae et Therapiae Experimentalis”. Artykułu nie czytałem, a tym bardziej nie zamierzam z nim polemizować, natomiast podawanie własnego artykułu z czasopisma o umiarkowanej reputacji (ministerstwo wyceniło je na 70 punktów), a w dodatku przypisanego do nauk medycznych i biologicznych, jest zbyt słabym argumentem, by obalić powszechnie uznaną regułę bibliometryczną.

O ile „vice versa” (co interpretuję jako: 90% artykułów zamieszczanych w nisko ocenianych periodykach osiąga małą liczbę cytowań) jest prawdą, to stwierdzenie cytowane w pierwszym zdaniu jest nieprawdziwe, co wykażę, posługując się prostym przykładem, który ilustruje powszechną regułę.

W tabeli zestawiłem dane dotyczące liczby cytowań (WoS, dostęp 30.04.21) artykułów opublikowanych w 2019 roku w trzech 200-punktowych (czyli doskonałych) i jednym 70-punktowym (czyli raczej marnym, gdyż są jeszcze 140- i 100-punktowe) czasopiśmie matematycznym. Wybrałem czasopisma reprezentujące jedną dyscyplinę, gdyż liczby cytowań w różnych dyscyplinach są nieporównywalne. Ograniczyłem się do publikacji typu „article”, gdyż liczby cytowań różnych typów publikacji są nieporównywalne. Ponadto wszystkie te czasopisma opublikowały zbliżone liczby artykułów (23-85). Dwuletni okres (publikacja w 2019, cytowania do 2021) odpowiada wiekowi publikacji branych pod uwagę przy obliczaniu IF, który jest podstawą ministerialnej punktacji.

W dwóch z trzech przypadkowo wybranych czasopism 200-punktowych w górnych 90% znajdują się artykuły niecytowane. Ponieważ zaś nie ma ujemnych liczb cytowań i zero jest najniższym teoretycznie możliwym wynikiem, przeto nie można przypisywać tym niecytowanym artykułom „ponadprzeciętnej liczby cytowań”. Co prawda w trzecim z 200-punktowych czasopism matematycznych wszystkie artykuły z górnych 90% były cytowane, ale wiele z nich tylko jeden raz, co też nie jest nadzwyczajnym osiągnięciem jak na artykuł matematyczny sprzed dwóch lat.

W ministerialnym systemie ewaluacji autorzy niecytowanych artykułów w czasopismach 200-punktowych (patrz tabela) otrzymują nie tylko trzykrotnie więcej punktów niż ich koledzy za niecytowane artykuły w czasopiśmie 70-punktowym (parafrazując Kazika: „twoje zero jest lepsze niż moje”), ale także trzykrotnie więcej punktów niż ich koledzy za cytowane artykuły w czasopiśmie 70-punktowym (twoje zero jest lepsze niż moja jedynka?).

Tabela pokazuje także, skąd się wziął wysoki IF czasopism 200-punktowych. Nie z braku niecytowanych artykułów, lecz z wysokiej cytowalności niewielkiej liczby artykułów. Mówi o tym wspomniana już reguła Pareta: 20% najpopularniejszych artykułów w danym czasopiśmie kreuje 80% cytowań. Tym, co najbardziej odróżnia w powyższej tabeli czasopismo 70-punktowe od 200-punktowych, jest liczba cytowań najpopularniejszego artykułu.

Podobnie jak w czasopismach matematycznych, także w innych dyscyplinach, w których średnia cytowalność artykułów jest niewielka, np. w naukach rolniczych, humanistycznych i społecznych, wśród 90% najczęściej cytowanych artykułów z 2019 roku w wielu 200-punktowych czasopismach znajdują się artykuły niecytowane. Nieco bardziej złożone jest zagadnienie cytowalności artykułów w 200-punktowych czasopismach z modnych dyscyplin, jak biochemia czy inżynieria materiałowa. Co prawda wśród 90% najczęściej cytowanych z tych czasopism z 2019 roku raczej nie znajdziemy artykułów niecytowanych, ale znajdziemy sporo artykułów cytowanych zaledwie raz lub parę razy – znacznie poniżej średniej cytowalności w dyscyplinie i poniżej cytowalności wielu artykułów z czasopism 70-, a nawet 40-punktowych z tejże dyscypliny.

Odrębnym zagadnieniem jest to, że dla naukowców publikujących niecytowane, a czasami też niezbyt mądre, artykuły w 200-punktowych czasopismach obecny system oceny dorobku naukowego jest bardzo korzystny.

Prof. dr hab. Marek Kosmulski, chemik, Wydział Elektrotechniki i Informatyki Politechniki Lubelskiej

Wróć