logo
FA 3/2021 życie naukowe

Adam Proń, Halina Szatyłowicz

Wesołe zabawy i figle rankingowe dwojga chemików

Źródło: Adobe Stock

Artykułowi naszemu nadaliśmy krotochwilny tytuł, aby pokazać, iż danymi bibliometrycznymi można swawolnie się bawić, ale nie nadają się one, prawie w żadnej postaci, do oceny dorobku naukowego. Wprowadzenie punktacji czasopism i tzw. slotów jest tego najlepszym przykładem.

Inspirację do napisania tego tekstu stanowił bardzo ciekawy artykuł Krzysztofa Cieplińskiego pt. Nasi wśród najlepszych… i co to znaczy opublikowany w FA 12/2020. Artykuł ten omawiał listę 2% najczęściej cytowanych naukowców zamieszczoną w „PLOS Biology” w październiku 2020 r., obejmującą ok. 160 tys. naukowców, których prace według algorytmu zastosowanego przez autorów były najczęściej cytowane w latach 1996–2019. W dalszej części będziemy ją nazywać „Listą 2%”. Wiele polskich uczelni na stronach internetowych z dumą wymieniało nazwiska swoich pracowników, którzy znaleźli się wśród rekordzistów cytowań. Najpóźniej uczyniła to Politechnika Warszawska, bo dopiero 14 stycznia 2021 r., zamieszczając jednak najbardziej pokrętny spis swoich najczęściej cytowanych naukowców, z którego wynikało, że pracownicy Wydziału Elektroniki i Technik Informacyjnych są zdecydowanie lepszego sortu niż wszyscy inni. Artykułowi naszemu nadaliśmy krotochwilny tytuł, aby pokazać, iż danymi bibliometrycznymi można swawolnie się bawić, ale nie nadają się one, prawie w żadnej postaci, do oceny dorobku naukowego. Wprowadzenie punktacji czasopism i tzw. slotów jest tego najlepszym przykładem. Polska punktacja czasopism wywodzi się bowiem bezpośrednio ze wskaźnika wpływu (ang. impact factor, IF). Łatwo wykazać, że na wysoką wartość IF ma wpływ nie więcej niż 10%–15% artykułów opublikowanych w danym czasopiśmie. Oznacza to, że dla ponad 80% autorów blask sławy związany z prestiżowym IF czasopisma, w którym publikowali prace, jest blaskiem odbitym, gdyż w rzeczywistości przyczynili się oni do obniżenia tego wskaźnika bibliometrycznego, a nie jego podwyższenia. W efekcie ministerialna ocena ponad 80% naukowców nie jest oparta na ich własnych sukcesach, lecz na sukcesach niespełna 15% ich bardziej popularnych kolegów. Na zawiłości bibliometrii i jej niewłaściwe wykorzystanie wielokrotnie zwracał uwagę prof. Andrzej Kajetan Wróblewski, praktycznie bez echa.

Jak podskoczyć o 30 tysięcy pozycji

Wymieniony już algorytm, opracowany do ułożenia listy najczęściej cytowanych naukowców (ok. 160 tys.) spośród prawie 8 milionów indeksowanych w bazie SCOPUS, ma szereg specyficznych cech. Pierwszą, będącą również oczywistą zaletą, jest to, iż w końcowej klasyfikacji brane są pod uwagę tylko cytowania niezależne artykułów danego badacza, tzn. takie, które pozostały po odjęciu autocytowań tego autora i autocytowań wszystkich współautorów jego artykułów. Jest to podejście właściwe, bo przecież autocytowania w żadnej mierze nie świadczą o popularności danego artykułu, można je porównać do kupowania przez piosenkarza jego własnych płyt. Inną cechą zaproponowanego algorytmu jest bardzo silne faworyzowanie artykułów jedno– i dwuautorskich. Nie jest to jednak zaletą. Jednoautorskie prace to często artykuły przeglądowe, które mogą świadczyć o kulturze naukowej autora, ale nie są pracami naukowymi w sensie ścisłym.

Jak duża jest wrażliwość algorytmu na liczbę cytowań prac jednoautorskich świadczy prosta symulacja przeprowadzona dla zbioru cytowań niezależnych pierwszego z autorów tego artykułu. Przez 46 lat działalności naukowej opublikował on jeden jednoautorski artykuł badawczy, który miał zaledwie 25 cytowań niezależnych. Gdyby, zamiast leniwie pić francuskie wino i bawić się z trzema wnuczkami, napisał kolejny artykuł jednoautorski, tym razem przeglądowy, który miałby 300 cytowań niezależnych, to w rankingu przesunąłby się o 32 tysiące miejsc w górę. 300 cytowań artykułu przeglądowego nie jest trudne do osiągnięcia, bywają przeglądówki mające po kilka tysięcy cytowań.

Algorytm ten eliminuje również znaczną część naukowców, w których dorobku dominują często cytowane prace wieloautorskie. Z tego powodu na liście jest bardzo mało naukowców zajmujących się fizyką cząstek czy naukowców-lekarzy. Dla wielu z nich podstawowym źródłem cytowań są bowiem prace mające po kilkudziesięciu, kilkuset czy nawet kilka tysięcy autorów, co praktycznie wyrzuca ich poza listę. Rekord świata w liczbie autorów dzierży artykuł pt. Combined Measurement of the Higgs Boson Mass in pp Collisions √¯s=7 and 8 TeV with the ATLAS and CMS Experiments opublikowany w „Physical Review Letters” 114, 191803 (2015), mający 5154 współautorów.

Na liście nie znalazło się wielu luminarzy polskiej nauki, którzy publikowali prawie wyłącznie wieloautorskie artykuły. W badaniach interdyscyplinarnych publikowanie jedno– lub dwunazwiskowych prac jest praktycznie niemożliwe. Na przykład opublikowanie dobrze cytowanego artykułu dotyczącego nowej organicznej diody elektroluminescencyjnej wymaga współpracy chemików teoretyków, chemików doświadczalnych, fizyków i elektroników, a minimalną liczbę współautorów można oszacować na 7-8. Zastosowany algorytm dyskryminuje więc naukowców prowadzących badania interdyscyplinarne. Pouczającym przykładem może być tutaj przypadek prof. Ewy Góreckiej, jednej z najwybitniejszych chemiczek polskich i laureatki Nagrody FNP, czyli tzw. polskiego Nobla, z 2020 roku. Prof. Górecka, nieobecna na „Liście 2%”, nie publikuje ani jedno-, ani dwuautorskich prac, gdyż natura prowadzonych przez nią badań wymaga szerokiej współpracy naukowej.

Detaliści i hurtownicy

Kto może liczyć na wysokie miejsce na liście? Wyróżnić tu można dwa typy naukowców: „samotników” i „hurtowników”. Samotnik często nie ma własnej grupy badawczej, a jego laboratorium na ogół jest niespecjalnie dobrze wyposażone. Doskonała znajomość tej dziedziny nauki, w której prowadzi badania, pozwala mu jednak na publikowanie samodzielnych prac, zarówno eksperymentalnych, jak i przeglądowych, w dobrych czasopismach. Jeśli artykuły te są w stopniu przyzwoitym cytowane, to może znaleźć się wśród 2% najczęściej cytowanych naukowców.

Hurtownik z kolei dąży do utworzenia jak największej grupy badawczej i zabiega o jak najlepsze wyposażenie laboratorium. W walce o granty musi mieć naturę wojownika. Jeśli jego grupa zdoła opublikować dużą liczbę artykułów, a hurtownik będzie dbał o to, aby w każdej pracy być ostatnim autorem, to tą „masą publikacyjną” zniweluje działanie niekorzystnych dla niego algorytmów i przebije nawet samotnika. Najwyższe miejsca na „Liście 2%” są bowiem obsadzone prawie wyłącznie przez hurtowników. Problem hurtowników jest poważny. Na świecie jest bowiem ponad 9 tys. hiperhurtowników, którzy od początku XXI wieku do 2018 r. publikowali częściej niż jeden artykuł co pięć dni, co oznacza średnio ponad 73 artykuły rocznie (źródło: „Nature”, 561, 157 (2018)). Temu nadmiernemu gromadzeniu „dóbr” publikacyjnych przez stosunkowo nieliczną grupę naukowców sprzyja polityka naukowa rządów praktycznie wszystkich krajów, w których prowadzone są prace badawcze. Taka częstotliwość publikowania powinna rodzić poważne problemy etyczne i prawne dotyczące atrybucji autorstwa publikacji, jednak prawie nikt nie zajmuje się tym problemem. Chwalebny wyjątek stanowią prawnicy z Uniwersytetu Śląskiego, którzy pod auspicjami Fundacji Fullbrighta zorganizowali nawet międzynarodową konferencję naukową na ten temat.

Poza zdrowym rozsądkiem

Najsłabszym elementem przedstawionej „Listy 2%” jest przypisanie naukowców do poszczególnych dyscyplin i poddyscyplin naukowych. Autorzy wykorzystali tu klasyfikację dyscyplin stosowaną w Science-Metrix, która ma mało wspólnego ze zdrowym rozsądkiem. Każdemu z ocenianych naukowców przypisano jedną dyscyplinę i dwie poddyscypliny, posiłkując się, jak piszą autorzy listy, sztuczną inteligencją. Ta sztuczna inteligencja musiała jednak znacznie oddalić się od naturalnej. Pierwszy autor tego artykułu był i jest chemikiem, a przypisano mu dyscyplinę fizyka i poddyscypliny fizyka stosowana oraz fizyka chemiczna. Nie wiemy, czym się sztuczna inteligencja kierowała w tym przypadku, bo udział prac opublikowanych w czasopismach fizycznych w jego dorobku naukowym nie przekracza 10%, a znacząca ich większość została umieszczona w czasopismach chemicznych. Co więcej, publikującemu z reguły w tych samych czasopismach prof. Konradowi Szaciłowskiemu z AGH przypisano dyscyplinę chemia oraz poddyscypliny chemia ogólna i nanotechnologia.

Ewidentne słabości „Listy 2%” nie zniechęciły nas do swawolnego użycia zawartych w niej danych do oceny polskich instytucji naukowych. Przy okazji odkryliśmy szereg błędów w bazie SCOPUS wynikających z niestarannej pracy, ale tym nie będziemy czytelników zanudzać. „Lista 2%” zawiera nazwiska 725 naukowców z polską afiliacją. Część z nich już nie żyje, ich w naszych statystykach nie uwzględnialiśmy, gdyż ich wpływ na obecną kondycję polskich instytutów i uczelni jest niewielki. Uwzględniliśmy natomiast naukowców w wieku emerytalnym, których na „Liście 2%” jest zaskakująco dużo. Są to bowiem w większości emeryci pozorni, którzy często prowadzą intensywną pracę naukową. Analiza ich życiorysów naukowych pokazuje ciekawe zjawisko przechwytywania emerytowanych naukowców z ośrodków o dużym potencjale badawczym przez instytuty i uczelnie dążące do podwyższenia swojego statusu naukowego. Spektakularnym przykładem jest tu transfer prof. Urszuli Domańskiej z Politechniki Warszawskiej do Instytutu Chemii Przemysłowej. Transfer ten nie tylko pozwolił tej instytucji pojawić się na „Liście 2%”, ale również zapewnił jej przyzwoitą pozycję w rankingu instytutów (vide supra). Podobnie emerytalny transfer prof. Andrzeja Skowrona z Uniwersytetu Warszawskiego do Instytutu Badań Systemowych PAN wzmocnił pozycję tej ostatniej placówki. Wreszcie Uniwersytet Kardynała Stefana Wyszyńskiego swoją pozycję osiągnął poprzez zatrudnienie kilku emerytowanych profesorów Instytutu Chemii Fizycznej PAN.

Tabela 1.

Postanowiliśmy stworzyć ranking polskich instytucji naukowych, uwzględniając nie tylko liczbę naukowców będących na „Liście 2%”, ale również ich pozycję na tej liście oraz wielkość uczelni (instytutu). W tym celu wyznaczyliśmy „średni współczynnik oddziaływań” (SWO), dzieląc sumę odwrotności miejsc naukowców (ni) na „Liście 2%” przez liczbę pracowników naukowych instytucji (N), w której są afiliowani (patrz wzór (1)):

Wzór (1)

Takie podejście pozwala na porównywanie instytucji nawet znacząco różniących się wielkością. Należy jednak podkreślić, że przyjęta metoda porównań najbardziej faworyzuje instytuty badawcze zajmujące się naukami ścisłymi, przyrodniczymi oraz technicznymi. W mniejszym stopniu faworyzuje też politechniki, natomiast dyskryminuje uniwersytety. Pokażemy to na przykładzie Instytutu Chemii Fizycznej PAN, Politechniki Warszawskiej i Uniwersytetu Warszawskiego.

W IChF PAN pracownikami naukowymi są wyłącznie chemicy oraz fizycy, czasami z przedrostkiem bio. Wszyscy oni mają szansę na znalezienie się na „Liście 2%”. W przypadku Politechniki Warszawskiej na liście tej teoretycznie może się znaleźć większość, ale nie wszyscy, bo dla architektów jest to praktycznie niemożliwe. Na Uniwersytecie Warszawskim aspirować do miejsca na liście może jedynie mniejszość, bo lista ta jest praktycznie niedostępna dla humanistów oraz przedstawicieli nauk społecznych. Tak w istocie jest. Wśród 52 żyjących naukowców z tej uczelni znajdujących się na „Liście 2%” dominują chemicy, fizycy i astronomowie. W mniejszej liczbie obecni są matematycy, informatycy, geolodzy i biolodzy. Nauki ekonomiczne reprezentuje jedna osoba – prof. Oded Stark, emeryt importowany z Niemiec. Z powyższych powodów podajemy osobne rankingi dla uniwersytetów, politechnik, uczelni medycznych, uniwersytetów przyrodniczych i instytutów PAN.

W Tabeli 1. i na Rysunku 1. przedstawiamy ranking instytutów PAN. Należy tu zwrócić uwagę na Instytut Badań Systemowych, który ma prawie dwukrotnie wyższy współczynnik SWO niż następne na liście Centrum Astronomiczne PAN. Instytut Badań Systemowych skupia głównie naukowców zajmujących się różnymi aspektami informatyki. Ta mała instytucja (60 pracowników naukowych wg. OPI PIB) ma aż sześciu przedstawicieli na „Liście 2%”, w tym dwóch na bardzo wysokich pozycjach. Lider, prof. Roman Słowiński, jest jednak dwuetatowcem i systematycznie podaje Politechnikę Poznańską jako pierwszą afiliację. To samo dotyczy prof. Przemysława Grzegorzewskiego, którego pierwszą afiliacją jest Politechnika Warszawska. Autorzy „Listy 2%” przyporządkowali jednak tych dwóch naukowców IBS PAN. Poważne wzmocnienie stanowił również transfer prof. Andrzeja Skowrona z Uniwersytetu Warszawskiego, gdy osiągnął tam wiek emerytalny. Można więc stwierdzić, że w tak dużej wartości współczynnika SWO Instytutu Badań Systemowych PAN pewien udział miały Politechniki Poznańska i Warszawska oraz Uniwersytet Warszawski.

Rysunek 1.

Współczynniki SWO instytutów PAN biją na głowę te, które zostały obliczone dla uczelni, głównie z powodów przedstawionych powyżej. Złośliwość starcza każe nam jednak porównać instytuty chemiczne do wydziałów chemii wybranych uczelni, a instytuty fizyczne do wydziałów fizyki. Bardzo wysokie współczynniki SWO osiągnęły Wydział Technologii Chemicznej Politechniki Poznańskiej i Wydział Chemii UW (Tabela 1. i Rysunek 1.). Ich współczynniki ustępują tylko współczynnikowi SWO Instytutu Badań Systemowych PAN. Spektakularny wynik Wydziału Technologii Chemicznej PP ma swoją przyczynę w uprawianej tematyce badawczej – duża część pracowników tego wydziału zajmuje się bowiem badaniami w dziedzinie konwersji energii, a jest to temat wzbudzający ogromne zainteresowanie. Drugim czynnikiem sprzyjającym dużej wartości SWO jest większy niż w innych instytucjach naukowych udział artykułów przeglądowych wśród publikowanych prac. Zaskakująco niski jest współczynnik SWO Wydziału Chemii UJ, gdzie pracuje przecież wiele wybitnych chemiczek i wielu wybitnych chemików. Najwidoczniej za mało jest tam „samotników” i „hurtowników”. Współczynniki SWO Wydziałów Fizyki UW i UJ są porównywalne ze współczynnikami wyznaczonymi dla instytutów PAN zajmujących się fizyką, tzn. SWO Wydziału Fizyki UW nieco przekracza SWO Instytutu Fizyki PAN, a SWO Wydziału Fizyki UJ jest nieco wyższe niż SWO Instytutu Niskich Temperatur i Badań Strukturalnych PAN.

Tabela 2.

Na „Liście 2%” pojawiają się naukowcy z piętnastu politechnik. Uszeregowanie tych uczelni wg. malejącej wartości tego wskaźnika przedstawiamy w Tabeli 2. i na Rysunku 2. Przewaga Politechniki Poznańskiej nad innymi uczelniami jest bardzo duża, niemal dwukrotna nad Politechniką Lubelską i dokładnie dwukrotna nad Wojskową Akademią Techniczną. Należy tu dodać, że na 19 naukowców z tej uczelni wymienionych na „Liście 2%” 11 to chemicy, a 5 informatycy i specjaliści od sieci informatycznych. SWO Politechniki Poznańskiej byłby jeszcze wyższy, gdyby autorzy „Listy 25” przypisali tej uczelni dorobek prof. Słowińskiego.

Rysunek 2.

Zaskakujące jest wysokie miejsce Politechniki Lubelskiej, będącej jedną z najmniejszych uczelni technicznych. Zawdzięcza je w głównej mierze chemikowi, prof. Markowi Kosmulskiemu, który zajmuje się chemią powierzchni i chemią koloidów. Jest to klasyczny „samotnik”, który opublikował aż 73 na ogół często cytowane jednoautorskie artykuły, a ponadto sporą liczbę artykułów dwuautorskich. Znalazło to odbicie w jego bardzo wysokiej pozycji na „Liście 2%”. Pewien udział w sukcesie Politechniki Lubelskiej miał też fizyk Keshra Sangwal.

Tabela 3.

Rysunek 3.

Tabela 3. i Rysunek 3. przedstawiają klasyfikacje uniwersytetów „bezprzymiotnikowych” według malejącej wartości SWO. Również w tym przypadku na czele jest uczelnia poznańska – Uniwersytet im. Adama Mickiewicza, chociaż jego przewaga nad Uniwersytetem Warszawskim nie jest duża. Jak należało się spodziewać, wartości SWO dla uniwersytetów są średnio nieco niższe niż dla politechnik, co jest zupełnie zrozumiałe w świetle dyskusji przedstawionej powyżej.

Jeszcze niższe wartości SWO mają uniwersytety medyczne (Tabela 4. i Rysunek 4.). Algorytm stosowany przez twórców „Listy 2%” bezlitośnie wycinał bowiem lekarzy publikujących artykuły o bardzo dużej liczbie autorów, które na ogół dotyczyły badań klinicznych prowadzonych równolegle w wielu ośrodkach medycznych różnych krajów. Tabela 4. i Rysunek 4. nie uwzględniają Collegium Medicum UJ i Collegium Medicum UMK. Ich osiągnięcia rozpatrywaliśmy łącznie z osiągnieciami uczelni, których część stanowią.

Tabela 4.

Rysunek 4.

Na „Liście 2%” pojawiają się jeszcze naukowcy z dwóch uniwersytetów przyrodniczych, tzn. Uniwersytetu Przyrodniczego w Poznaniu i Uniwersytetu Przyrodniczego w Lublinie. (Tabela 5).

Tabela 5.

W powyższych statystykach nie uwzględniliśmy ponad 40 instytucji mających po jednym lub dwóch przedstawicieli na „Liście 2%”, minimalną liczbę reprezentantów danej instytucji ustaliliśmy bowiem na trzy. Z tego powodu m.in. w Tabeli 4. nie ma np. Zachodniopomorskiego Uniwersytetu Medycznego.

Bez nadmiernej powagi

Przedstawione rozważania prowadzą do następujących wniosków:

Jeśli uwzględnia się miejsce naukowców na „Liście 2%” oraz wielkość danej uczelni i jej rodzaj, to najlepiej w rankingu wypadają uczelnie poznańskie.

Cytowalność publikacji pracowników PAN nie jest większa niż publikacji uniwersyteckich, gdy porównuje się jednostki o podobnym profilu badań, np. cytowalność prac naukowców z IF PAN jest porównywalna z cytowaniami prac fizyków z UW.

Przedstawiciele nauk humanistycznych i społecznych nie mają praktycznie żadnych szans, aby znaleźć się na „Liście 2%”, a przedstawiciele nauk ekonomicznych obecni są na niej w znikomej liczbie. Stąd nieobecność w przedstawionym tu rankingu takich uczelni, jak uniwersytety ekonomiczne czy KUL.

Przedstawionych rankingów nie należy traktować z nadmierną powagą, ale raczej jako efekt wesołej zabawy staruszki i staruszka. Algorytm stworzony do konstrukcji „Listy 2%” ma bowiem znacznie więcej wad niż zalet, więc bardzo poważne traktowanie może przynieść więcej szkody niż pożytku. Statystyczne figle nasze pokazują jednak, że rekordzistów cytowań częściej można spotkać w uczelniach niedocenianych niż na UW, UJ, PW czy AGH, jeśli dane przedstawione w „Liście 2%” znormalizuje się na liczbę pracowników naukowych danej uczelni.

Autorzy są profesorami Politechniki Warszawskiej.

Wróć