logo
FA 4/2024 informacje i komentarze

Dariusz Gątarek

Kult cargo

Kult cargo 1

Dr hab. Dariusz Gątarek, prof. w Instytucie Badań Systemowych PAN, opisuje absurdy parametrycznej oceny nauki, bazującej na punktacji czasopism. Przekonuje, że wybitny matematyk Grigorij Perelman byłby w polskim systemie ewaluacji dla uczelni obciążeniem, a nie atutem. Nawołuje do zmiany systemu oceny, który prowadzi do zapaści polskiej nauki.

W okolicach roku 2010 kierownictwo polskiej nauki doszło do wniosku, że ocena jednostek naukowych i indywidualnych badaczy nie powinna opierać się wyłącznie na tzw. opinii środowiska naukowego, a zadaniem uczonego jest działalność, która ma materialną formę i że istnieją obiektywne metody jej ewaluacji. Zaobserwowano także, że najłatwiejszym do oceny produktem pracy uczonego jest publikacja. Trudno z tymi obserwacjami się nie zgodzić. Wnioski z nich wyciągnięto jednak co najmniej dziwne, choć pierwsze konkluzje jeszcze nie zapowiadały katastrofy. Zauważono mianowicie, że publikacja publikacji nierówna, że mamy XXI wiek i publikowanie jest nieporównanie łatwiejsze niż wcześniej i nawet samo umieszczenie artykułu na stronie internetowej w pewnym sensie jest już publikacją. Istnieją czasopisma z wieloletnią (a nawet wielowiekową) tradycją i o ustalonym prestiżu dobierające bardzo starannie drukowane materiały, istnieją też wydawnictwa, niekiedy zwane drapieżnymi, które za większą lub mniejszą kwotę gotowe są zamieścić artykuł na swojej stronie internetowej, nie oceniając wcześniej jego jakości, najczęściej wyłącznie w formie binarnej, nawet nie marnując papieru. Powołano Komisję Ewaluacji Nauki, której zadaniem była ewaluacja czasopism naukowych poprzez przydział punktów. Jest to zadanie niemożliwe do wykonania. Możemy dyskutować, czy ostatnim człowiekiem ogarniającym całość nauki był Albert Wielki czy Arystoteles ze Stagiry, ale jedno jest pewne: ludzie ci poumierali dawno temu, a nauka w tym czasie dokonała ogromnego postępu. Nie uczyni teraz tego nawet komisja złożona z 34 osób. Komisja oczywiście nie pracuje sama i posługuje się wiedzą ekspertów, ale by jej oceny były całkowicie wiarygodne, ekspertem powinien być każdy uczony, w końcu taka jest jego misja – poznać pewien wycinek rzeczywistości lepiej niż inni. Profesorowie, którzy za swe osiągnięcia trafili do podręczników i encyklopedii (a takich w Polsce nie jest wcale mało), mogą uznać za uwłaczający fakt, że anonimowy i najprawdopodobniej nieznający ich dziedziny ekspert dyktuje im, gdzie powinni publikować, by nie zostać ocenieni jako nieuki.

Tomów by zabrakło, by wyliczyć wszystkie błędy, niedopatrzenia i niekonsekwencje słusznie lub nie zarzucane kolejnym listom czasopism punktowanych, a przecież to od tej listy zależy los ośrodków naukowych i indywidualnych uczonych, na podstawie publikacji w pismach wyżej lub niżej punktowanych przyznaje się kategorie ośrodkom naukowym, a przydział środków zależy również od kategorii naukowej.

Pewnym sposobem uczynienia oceny czasopism bardziej obiektywną jest wykorzystanie miary opracowanej przez niezależną instytucję i dobrą wiadomością dla ministerstwa jest fakt, że takie miary istotnie są publikowane i powszechnie uznane: Impact Factor (IF) przez Web of Science, Journal Citation Indicator (JCI) przez Clarivate, CiteScore przez Scopus, SCImago Journal Rank (SJR) przez SCImago Lab oraz Source normalized impact per paper (SNIP) przez wydawnictwo Elsevier. Istnieją też mniej popularne miary. Są one liczone w różny sposób, ale łączy je oparcie się na tych samych danych wejściowych: liczbie cytowań, bo właśnie liczba cytowań jest najpowszechniejszą miarą jakości artykułu. Jest to miara zawodna i niedoskonała, ale dość obiektywna i łatwa do zastosowania, a co najważniejsze – właściwie pozbawiona konkurencji. Pozwolę sobie tutaj na nazywanie artykułów wiele razy cytowanych artykułami dobrymi, zdając sobie sprawę, że na jakość artykułu składają się również inne czynniki, które niestety są dużo trudniejsze do uchwycenia niż same cytowania. Prawnikom znane jest pojęcie prawdy materialnej.

Ocena pracy naukowej według miejsca publikacji, a miejsca publikacji według jednego z wymienionych wyżej parametrów (IF, SJR, SNIP, CiteScore) jest obiektywna i stosunkowo wiarygodna. Ma jednak pewne cechy łapania się prawą ręką za lewe ucho, gdyż artykuł oceniamy według liczby cytowań nie tyle samego artykułu, co innych prac opublikowanych wcześniej w tym czasopiśmie. Przypomina to ocenianie ucznia nie według jego osobistych osiągnięć, ale według średniej ocen jego szkolnej klasy, co brzmi nieco absurdalnie. Podstawą takiego poglądu jest przekonanie, że absolutnie wszystkie artykuły opublikowane w prestiżowych pismach stają przez to dobre. Jest to stary sofizmat znany jako cum hoc ergo propter hoc, czyli razem, a więc jedno z drugiego wynika. W tym przypadku istotnie istnieje związek przyczynowo-skutkowy, ale w stronę przeciwną: pismo jest dobre, bo publikuje dobre artykuły, nie odwrotnie. Ogromna większość artykułów publikowanych nawet w najbardziej prestiżowych pismach nie wywiera żadnego wpływu na dalszy rozwój nauki, a jeśli są nawet cytowane, to głównie przez autorów. Odwrócenie związku przyczynowo-skutkowego nazywane jest niekiedy kultem cargo.

Z drugiej strony prace przełomowe bywają publikowane w pismach zupełnie marginalnych. Dla przykładu: Grigorij Perelman opublikował swe trzy przełomowe prace na temat hipotezy Poincaré na stronie internetowej ArXiv, której nie ma na liście pism punktowanych. Jeśliby Perelman był pracownikiem polskiej jednostki naukowej, powinien zostać zwolniony jako zupełnie bezproduktywny naukowo. Grigorij Perelman jest oczywiście ekscentrykiem, ale moje doświadczenie wskazuje, że skłonności do lekceważenia zarządzeń urzędowych wykazują wszyscy wybitni uczeni, tym większą, im owe zarządzenia są mniej rozumne, a pozycja uczonego bardziej niezależna.

W systemie ewaluacji opartym na miejscu publikacji artykułu nie powstałyby słynne pisma polskiej szkoły matematycznej „Fundamenta Mathematicae” i „Studia Mathematica”, bo musi minąć kilka lat zanim pismo zyska renomę i byłoby mocno nieopłacalne stworzenie nowego pisma. Taki system ewaluacji sugeruje, że Polak może co najwyżej świecić światłem odbitym, sam nie osiągnie nigdy fundamentalnych wyników. Widoczna tutaj mikromania budzi we mnie niesmak tym bardziej, że jest po prostu nieprawdziwa.

Alternatywnym rozwiązaniem jest ewaluacja oparta na liczbie cytowań. Jej wadą jest oczywiście to, że potrzeba czasu, by ocenić wartość artykułu, artykuły naprawdę wybitne bywają cytowane i sto lat po publikacji. W wyniku tego osoby starsze miałyby wyraźną przewagę nad młodszymi. Czy jednak to naprawdę jest takie złe? Politycy mają skłonność do opierania się na młodych ludziach, co często bywa uzasadnione, bo młodość idzie i śpiewa, ale w przypadku polskiej nauki może doprowadzić do katastrofy, a to dlatego, że nauka z natury swojej opiera się na równowadze między różnymi grupami wieku, a także dlatego, że w polskiej nauce istnieje luka pokoleniowa i marginalizacja osób urodzonych przed rokiem 1960 skutkowałaby natychmiastową zapaścią. Poza tym liczbę cytowań można skalować w zależności od grupy wiekowej autora, bo istotnie zachęcenie ludzi młodych do uprawiania nauki jest być albo nie być polskiej nauki, ale nieroztropne jest tworzenie opozycji między różnymi grupami wiekowymi.

Nie jest moim zadaniem tworzenie systemu ewaluacji nauki, podejrzewam, że najlepszy byłby system hybrydowy. Niemniej obecny system jest nie do obrony z żadnego punktu widzenia i jeśli zostanie zachowany, spowoduje trudne do naprawienia szkody.

(Opinie autora nie były z nikim konsultowane i są tu publikowane po raz pierwszy, odpowiedzialność za nie ponosi tylko on sam. W szczególności nie są to opinie żadnego z obecnych lub dawnych pracodawców.)

Wróć