Wit Grzesik
Funkcjonowanie i ocena współczesnej nauki opierają się obecnie na szeroko rozwiniętej ewaluacji i tworzeniu rankingów czasopism oraz podmiotów nauki (ośrodków naukowych, naukowców) zarówno w skali globalnej, jak i tej małej – narodowej, praktycznie w każdej dyscyplinie wiedzy. Z tego względu wprowadza się różne mierniki takich ocen oparte na cytowalności, która została uznana za obiektywną miarę jakości czasopism/publikacji, a przez to również jakości i prestiżu pracy naukowej. Źródłowe bazy danych, np. Science Citation Index (SCI) i Impact Factor (IF – nota bene powstał już w 1960 r.), odnoszące się do czasopism naukowych, opisano w pracy A. Osiewalskiej Mierniki oceny czasopism i naukowców (EBIB, 8/2008, 99). Mierników ocen bibliometrycznych (nazywanych popularnie indeksami cytowań) indywidualnej i zbiorowej pracy naukowej, które opierają się na gromadzonych informacjach w wyspecjalizowanych bazach danych, jest wiele, ponieważ trudno uwzględnić wszystkie czynniki występujące w ocenie cytowalności indywidualnej.
W 2005 r. Hirsch zaproponował, aby wpływ publikacji naukowych mierzyć w odniesieniu do liczby wydanych publikacji za pomocą indeksu h, uwzględniając największą liczbę artykułów, które są cytowane h lub więcej razy. Z czasem, ze względu na łatwość oceny, h-indeks stał się bardzo popularnym wskaźnikiem bibliometrycznym, a obecnie jest używany do prezentacji dostrzegalności, znaczenia i ważności szerokiego grona indywidualnych naukowców, dyscyplin naukowych, uczelni i instytutów naukowych czy nawet krajów. Z tego powodu h-indeks został zaimplementowany do bazy ISI Web of Science (WoS) przez Thomson Scientific, która jest podstawową, obok bazy Scopus, zalecaną przez Ministerstwo Edukacji i Nauki. Trzecią bardzo popularną bazą jest Google Scholar, która korzysta z wyszukiwarki Internetowej Research Gate (RG) na platformie Google.
W ujęciu praktycznym Hirsch sugerował, że osiągnięcie indeksu h≈20 po 20 latach pracy badawczej oznacza sukces naukowy, natomiast wysoki indeks h≈40 wskazuje już na wybitnych naukowców pracujących w ważnych laboratoriach badawczych. Z kolei indeks h≈12 może wystarczyć do utrzymania stanowiska naukowego, co w zasadzie pokrywa się z wymaganiami jednostek w kraju uprawnionych do nadawania stopnia doktora habilitowanego i występowania o nadanie tytułu naukowego profesora.
Należy wyjaśnić, że wartość wskaźnika h jest w różnych źródłach/bazach inna, odpowiednio do różnego zasobu tych baz. SCOPUS ma większy udział publikacji konferencyjnych, Web of Science ma silniejszą reprezentację artykułów z czasopism, natomiast w bardzo użytecznym zasobie Google Scholar wskaźnik h jest wyliczany przez program Publish or Perish. Z tego względu wartość wskaźnika h w bazach Google Scholar, SCOPUS i Web of Science różni się w zależności od dziedziny nauki (W. Grzesik, Jak można właściwie ocenić indywidualny wkład naukowy w publikacjach wieloautorskich na podstawie danych bibliometrycznych, „Mechanik” 03/2023).
Od kilku lat ważnym źródłem pozyskiwania danych i wskaźników bibliometrycznych jest w odniesieniu do indywidualnych naukowców, dyscyplin naukowych, uczelni i instytutów naukowych czy całych krajów The World’s Top 2% Scientists List (TOP2% ranking), utworzony wspólnie przez Uniwersytet Stanforda i wydawnictwo Elsevier. Lista obejmuje prawie 200 tys. nazwisk naukowców ze wszystkich dziedzin i dyscyplin naukowych z całego świata naukowego. Polska grupa reprezentowana jest przez ponad 1000 osób.
W pierwszej kolejności ocena stanu polskiej nauki zostanie dokonana na podstawie zestawienia krajów europejskich i niektórych krajów spoza Europy liczących się w nauce na poziomie światowym. W tab. 1 zestawiono miejsca, które te kraje zajęły w rankingu TOP2% za 2021 r. w kategorii kariery naukowej pod względem liczby osób legitymujących się wymaganą liczbą cytowań i związaną z nimi wskaźnikami bibliometrycznymi. Założono, że ta kategoria jest bardziej reprezentatywna od kategorii za cytowania roczne ze względu na zauważalną fluktuację osób (chociaż ich liczba w zestawieniach rocznych jest porównywalna). Należy dodać, co będzie rozwinięte w dalszej części artykułu, że nie tylko bezwzględna liczba/częstotliwość cytowań, lecz także ich struktura, m.in. publikowanie artykułów indywidualnych i odpowiednio duży udział w publikacjach wieloautorskich, decydują o zajętej w tym rankingu pozycji.
W tab. 1 widać wyraźnie, że wyższa pozycja Polski w tym rankingu nie jest możliwa w najbliższej przyszłości, jeśli wziąć pod uwagę ciągłe zmiany strukturalne i niepewność finasowania projektów badawczych, a może najsłabszą kondycję przemysłu, który mało korzysta z osiągnięć rodzimej nauki i nie jest (co z przykrością stwierdzam) na większą skalę zainteresowany autentyczną współpracą naukową i wdrożeniową. Nowoczesny i innowacyjny przemysł albo w Polsce nie istnieje w ogóle (vide przemysł motoryzacyjny, stoczniowy), albo jest własnością koncernów zagranicznych (vide przemysł lotniczy). Gremia opiniotwórcze, np. w NCN, nie są w stanie nadążać za postępem naukowym w UE, nie mówiąc o skali globalnej (pozycja Polski jest tego niezbitym dowodem, ponieważ to jest podstawowe źródło finansowania i kreowania polityki naukowej). Należy też wspomnieć o słabej reprezentacji członków RDN w rankingu TOP2%, co również w jakimś stopniu decyduje o jakości kadry naukowej.
Polska może być porównywana, chociaż też wyraźnie na niekorzyść, jeśli uwzględni się liczbę ludności, z czterema krajami w poz. 15-18, w tym z partnerami z Grupy Wyszehradzkiej (wg danych za 2021 r. Czechy mają 10,51 mln, a Węgry 9,71 mln ludności). Czy to może być powód do dumy? Wątpię. Z własnego doświadczenia wiem, że organizacja instytucji naukowych w tych krajach jest bardziej efektywna, stąd naukowcy z tych krajów są dostrzegani w UE (wielu pracuje w instytucjach naukowych w Niemczech i Szwajcarii). Dorównanie krajom skandynawskim czy Beneluksu nie jest możliwe nawet w perspektywie najbliższej dekady.
Co więc można stwierdzić odnośnie do przyczyn takiego stanu i tracenia dystansu w rywalizacji naukowej przez polskich naukowców? Z drugiej strony słyszy się o bardzo korzystnych wynikach ewaluacji i przyznawania większości uczelni najwyższych kategoryzacji. Czy ktoś z wpływowych gremiów mających wpływ na zarządzanie i finansowanie nauki traktuje te związki poważnie, a nawet czy bierze je w ogóle pod uwagę? Przecież taką rolę ma pełnić PAN, ale kondycja instytutów naukowych w tej instytucji nie wypada dobrze na tle uczelni i wyraźnie widać regres w aspekcie „odtwarzalności” kadry naukowej.
W tej analizie uwzględniono podstawowy wskaźnik bibliometryczny, tj. indeks h oraz inne mierzalne wskaźniki zestawione w tab. 2. Wykorzystano je do oceny bieżącej pozycji Polski w świecie naukowym i wykazania powodów zbyt dużego dystansu do czołowych krajów, ale także do krajów o dużo mniejszej liczbie ludności zestawionych w tab. 1. I to jest najbardziej niepokojącym zjawiskiem. Przykładem mogą być takie kraje jak Szwajcaria, Holandia, Belgia czy nawet Czechy i Węgry (biorąc pod uwagę prawie czterokrotnie mniej ludności).
Z danych zestawionych w tab. 3 wynikają następujące wnioski ważne dla praktyki naukowej:
– Struktura cytowań polskich naukowców jest inna niż dla całego rankingu TOP2%. Widać wyraźne przesunięcie przedziałów o największej liczności z 20-99 do niższych wartości 10-29, co musi skutkować w niższych pozycjach w rankingu.
– Najczęstszy zakres cytowań w przedziale 20-29 to dla Polski prawie 40%, a dla całego rankingu to ok. 25%. Udział liczby cytowań w przedziale 40-99 to dla Polski tylko 12%, a w całym rankingu to ok. 36,5%.
– Wydaje się, że znalezienie się na stałe w rankingu wymaga wygenerowania indeksu Hirscha ok. 20. Wartości poniżej oznaczają orientacyjnie lokalizację na miejscach powyżej 17000(18000). Należy zauważyć, że średni indeks w rankingu to h = 38,15, a dla Polski to znacznie poniżej, ok. 26,3.
– Elitarna grupa 21 naukowców z najwyższym indeksem h pochodzi z USA, Szwajcarii, Japonii, Wielkiej Brytanii, Francji i Kanady. Ale aż 15 osób pochodzi z USA, w tym 7 osób jest zatrudnionych na Uniwersytecie Harvarda. Maksymalny wykazany indeks h = 299 (284 bez autocytowań) jest przypisany prof. W.C. Willettowi właśnie z tego uniwersytetu, natomiast z Polski jedyny indeks powyżej 100, czyli h = 131 (122 bez autocytowań), należy do prof. P. Ponikowskiego z Wrocławskiego Uniwersytetu Medycznego.
W moich artykułach na ten temat posiłkuję się indeksem hm, a właściwie jego wartością odniesioną do roku oceny, tj. hm21. Wykazałem, że jednym ze sposobów zapobiegania niekorzystnym zjawiskom „cytomanii” i „h-indeksomanii” jest posługiwanie się właśnie zmodyfikowanym wskaźnikiem Hirscha hm, który uwzględnia liczbę współautorów w artykule (co-authorship-adjusted hm-index). Należy wspomnieć, że czyniono także próby odniesienia indeksu h do średniej liczby współautorów czy podzielenie w prosty sposób liczby cytowań przez liczbę autorów każdego artykułu. Indeks hm jest obecnie dostępny jako jeden ze wskaźników bibliometrycznych/naukometrycznych w arkuszu kalkulacyjnym Excel popularnego rankingu TOP2% Elseviera i Uniwersytetu Stanforda. Dodatkowo ranking pozwala na jego estymację w odniesieniu do cytowań bez tzw. autocytowań (self-citation), co również przyczynia się do uwierzytelnienia indywidualnych osiągnięć naukowych. Ponieważ dane te są łatwo dostępne w Internecie, nic nie stoi na przeszkodzie, aby korzystali z nich autorzy, kandydaci do awansów naukowych i recenzenci. Przecież informetrycy (informetrics – informetria) i naukometrycy.
Z danych zestawionych w tab. 4, pogrupowanych w kilku przedziałach wartości indeksu hm, wynikają następujące wnioski praktyczne:
– Struktura cytowań polskich naukowców jest dla tego wskaźnika podobna jak dla całego rankingu TOP2%. Widać, że dominanta mieści się w przedziale wartości 10-19,99, ale większy wskaźnik udziału indywidualnego może skutkować w wyższych pozycjach w rankingu (zostanie to wykazane na przykładzie w kolejnej części artykułu).
– Najczęstszy zakres cytowań w przedziale 10-14,99 to dla Polski ponad 40%, a dla całego rankingu to ok. 30%. Udział liczby cytowań w przedziale powyżej 20 to dla Polski tylko 12%, a w całym rankingu to już ok. 29%.
– Jeśli uwzględni się średnią wartość indeksów h i hm dla całego rankingu (odpowiednio 38,15 i 18,05) oraz dla Polski (26,3 i 14,16), to średnia wartość wskaźnika udziału indywidualnego wh jako ilorazu hm/h w publikacjach wieloautorskich jest zbliżona (odpowiednio 0,473 i 0,538; ale wyliczona jako średnia z wartości w kolumnie to nawet 0,58). Należy zauważyć, że w Polsce publikuje się więcej publikacji o mniejszym udziale współautorskim.
– Wydaje się, że znalezienie się na stałe w rankingu wymaga wygenerowania indeksu Hirscha hm ok. 10. Wartości poniżej oznaczają orientacyjnie lokalizację na miejscach powyżej 17000(18000). Należy zauważyć, że średni indeks w rankingu to hm = 18,05, a dla Polski to nieco mniej, ok. 14,16.
– Maksymalny wykazany indeks hm = 115 (odpowiadający h = 299) jest przypisany prof. W.C. Willettowi z Uniwersytetu Harvarda, natomiast z Polski najwyższy indeks hm ok. 45, odpowiadający indeksowi h = 73 (81 z autocytowaniami) należy do prof. A. Stainbüchla z Politechniki Łódzkiej, ponieważ wh = 0,618 (wspomniany prof. A. Ponikowski z Wrocławskiego Uniwersytetu Medycznego zajmuje w tym zestawieniu już 39 miejsce, ponieważ wh = 0,205).
– Tendencję do grupowego publikowania z ekstremalnie małymi wskaźnikami hm ilustrują dobrze dwa przykłady osób z Polski ze wskaźnikami h = 91 i 85, którym odpowiadają wskaźniki hm = 2,8 i 6,1.
Kolejnym istotnym problemem sygnalizowanym w rankingu TOP2% są autocytowania (sfc%). W grupie naukowców z Polski jest wykazanych 566 osób z udziałem autocytowań powyżej 20% (czyli ponad połowa) i 56 osób (czyli ponad 5%) z udziałem powyżej 50%.
Moim zdaniem dane w formie wskaźników bibliometrycznych zawarte w tab. 5 powinny być metryką naukową przedstawianą przede wszystkim w staraniu się o środki na badania naukowe, a w przyszłości także we wnioskach o awanse naukowe. Same wykazy publikacji i „czysty” indeks h to zbyt mało, aby rzetelnie ocenić dorobek naukowy wnioskującego czy kandydata. Na przykład wskaźniki nps(ns), ncs(ns), c(s) i sc% powinny być obligatoryjnie brane pod uwagę przy ocenie indywidualnego dorobku naukowego oraz oceny kierownika projektu badawczego (w tym przypadku pomocniczymi wskaźnikami powinny być ncsf(ns), ncfl (ns) i nc9621). Z danych wynika jasno, że miejsce w rankingu zależy w dużym stopniu od liczby indywidualnych publikacji (nps(ns)) i odpowiadających im cytowań (ncs(ns)) (patrz tab.1). Można zauważyć, że pozycja w rankingu określana jest na podstawie wartości wskaźnika zbiorczego (composite score) o symbolu c(s). W przykładzie, który podaję w przywołanym na początku artykule („Mechanik” 3/2023), osoba z indeksem h = 35, ale bez indywidualnych publikacji (hm = 15,7) jest klasyfikowana w rankingu na 177546 miejscu. Natomiast osoba z indeksem h = 29 wykazana w tab. 5 zajmuje 52757 miejsce, ponieważ ma znaczący udział cytowań z publikacji indywidualnych.
Warto ten fakt wziąć pod uwagę nie tylko przez naukowców starających się za wszelką cenę zwiększać swój indeks h, ale także gremiów i recenzentów oceniających indywidualne osiągnięcia naukowe (często niestety bezkrytycznie). Z kolei wpływ autocytowań nie jest znaczący, ale widoczny – z 51740 na 52757 miejsce dla przykładu z tab. 5.
O sprawach etyki naukowej, która nierozerwalnie towarzyszy każdej działalności naukowej (a zgodnie z zapisem ustawy nawet powinna), pisałem gdzie indziej. Zacytuję ustawę, art. 3.2: „System szkolnictwa wyższego i nauki funkcjonuje z poszanowaniem standardów międzynarodowych, zasad etycznych i dobrych praktyk w zakresie kształcenia i działalności naukowej oraz z uwzględnieniem szczególnego znaczenia społecznej odpowiedzialności nauki”.
Można jednak obiektywnie stwierdzić, że wielowskaźnikowa ocena osiągnięć publikacyjnych i ich wpływu na naukę (ranking określany jest jako prestiżowa lista najbardziej wpływowych ludzi nauki na świecie, których publikacje są najczęściej cytowane przez innych autorów), wskazująca mocne i słabsze strony dorobku naukowego, przyczyni się do przestrzegania dobrych obyczajów w nauce i etyki naukowej.
Prof. dr hab. inż. Wit Grzesik, Wydział Mechaniczny Politechniki Opolskiej
