Korelacja ujemna

Im większy udział publikacji w MDPI, tym niższy wskaźnik sukcesu w konkursach NCN. Mimo że nie można w tym przypadku mówić o związku przyczynowo-skutkowym, to jednak tendencja jest wyraźna.

Publikowanie wyników badań naukowych w czasopismach wydawanych przez Multidisciplinary Digital Publishing Institute (MDPI) wzbudza w środowisku naukowym niemałe kontrowersje. Wiele miejsca poświęcono temu tematowi również w mediach społecznościowych, m.in. na Facebooku, ReseaerchGate oraz Twitterze. Publikowanie w najbardziej kontrowersyjnych czasopismach, takich jak „Energies”, „Sustainability” czy „Materials”, gwarantuje, zgodnie z ministerialną listą czasopism, uzyskanie odpowiednio po 140, 100 i 140 punktów za jeden artykuł. Nie dziwi więc zainteresowanie naukowców współpracą z MDPI, w którym jednocześnie stosuje się szybki model publikacji (tzw. rapid publication). Trzeba również pamiętać, że jest to jeden z modeli publikacyjnych typu Open Access, w którym opłata, tzw. article processing charge (APC), wynosi 1000–2000 CHF (ok. 4570–9140 zł). MDPI wprowadza także różne mechanizmy promocyjne. Przykładowo można uzyskać zwolnienie z całości lub części opłaty publikacyjnej – co dotyczy zarówno instytucji, jak i osób indywidualnych – ponieważ za zrecenzowanie artykułu wydawnictwo oferuje kupon w wysokości 100 CHF z możliwością wykorzystania go do pokrycia APC. Wszystkie kupony się sumują, co zachęca naukowców do recenzji wielu artykułów. MDPI nie ma jednoznacznie złej renomy, a niektórzy badacze aktywnie bronią tego wydawnictwa. Warto podkreślić, szczególnie jeśli chodzi o dyscypliny STEM, że są tam czasopisma, które mają wysokie wskaźniki bibliometryczne (np. Impact Factor) i cieszą się dobrą opinią w środowisku akademickim. Model businessowy MDPI został szczegółowo opisany przez M.A. Oviedo-Garcíę (2021).

Narodowe Centrum Nauki wspiera realizację badań podstawowych w Polsce w trzech obszarach tematycznych: HS – nauki humanistyczne i o sztuce, NZ – nauki o życiu, ST – nauki ścisłe i techniczne. Wnioski składane w konkursach NCN oceniane są wyłącznie przez pryzmat ich doskonałości naukowej, osiągnięć naukowych kierownika, stopnia wykonania poprzednich projektów oraz możliwości realizacji danego projektu. W przypadku większości konkursów ocena jest dwuetapowa. Po zakończeniu oceny formalnej wniosek trafia do ekspertów, którzy decydują, czy zostanie on przekazany do recenzji zewnętrznej. Następnie na podstawie uzyskanej opinii, również w gronie ekspertów, podejmowana jest decyzja o przyznaniu lub zaniechaniu finansowania. Ustalana lista rankingowa odpowiada rozmiarowi przeznaczonych na dany konkurs funduszy. Istotnym elementem oceny osiągnięć naukowych kierownika jest jakość publikacji naukowych. Zgodnie z rekomendacjami deklaracji San Francisco Declaration on Research Assessment (DORA), która zakłada, że podstawą oceny publikacji są kryteria merytoryczne, a nie ilościowe, której sygnatariuszem są podmioty finansujące naukę, w tym Narodowe Centrum Nauki, ewaluacja ma wyłącznie merytoryczny charakter, uwzględniający oryginalność badań oraz ich wpływ na rozwój danej dziedziny. Eksperci, oceniający doskonałość naukową projektów składanych w konkursach NCN, mają możliwość wglądu w dorobek naukowy kierownika projektu na każdym etapie oceny.

P. Korytkowski i E. Kulczycki (2021) przeprowadzili interesujące badania, które miały na celu ocenę udziału publikacji finansowanych przez NCN spełniających wymogi Planu S w ogólnej liczbie publikacji w latach 2014-2019. Wzięto pod uwagę 27 302 publikacje indeksowane w bazie Scopus, w których znalazły się podziękowania dla NCN. Uzyskane wyniki wskazują, że niemal jedna trzecia z nich nie spełniła wymogów Planu S, który zakłada obowiązek publikacji rezultatów badań finansowanych z publicznych i niepublicznych środków w tzw. otwartym dostępie (Open Access) w czasopismach, otwartych platformach lub repozytoriach, bez czasowego embarga. Należy zaznaczyć, że cOAlition S, skupiająca agencje oraz fundacje finansujące naukę, do której należy również Narodowe Centrum Nauki, została zawiązana we wrześniu 2018 r., natomiast Plan S, który jest inicjatywą tejże koalicji, zakładający wprowadzenie natychmiastowego otwartego dostępu do publikacji naukowych opisujących rezultaty badań naukowych, obowiązuje od 1 stycznia 2021 r. Stąd przytoczone powyżej wyniki mają wyłącznie charakter poglądowy i w żadnym razie nie odnoszą się do stopnia realizacji przyjętej regulacji. Jednocześnie, analizując problem publikacji w czasopismach MDPI, wzięto pod uwagę wskaźniki sukcesu w pozyskiwaniu finansowania z NCN z roku 2021, jako pierwszego roku obowiązywania Planu S, przyjmując założenie istnienia wcześniejszej tendencji do publikowania w otwartym dostępie.

Celem niniejszego opracowania jest odpowiedź na pytanie, czy istnieje związek pomiędzy liczbą publikacji w MDPI przypadającą na daną jednostkę naukową, a jej wskaźnikiem sukcesu (liczonym jako stosunek liczby wniosków zakwalifikowanych do finansowania do liczby wniosków złożonych, pomnożony przez 100) w konkursach NCN. W artykule prezentowane są wyniki zestawienia udziału procentowego publikacji MDPI w całkowitej liczbie publikacji danej jednostki naukowej z 2019 r., z jej wskaźnikiem sukcesu w pozyskiwaniu finansowania projektów badawczych w drodze konkursów ogłaszanych przez Narodowe Centrum Nauki, rozstrzygniętych w 2021 r.

Wskaźniki sukcesu w NCN

Wykres 1. Wskaźniki bibliometryczne – średnie wartości dla uczelni europejskich, uczelni z Polski oraz polskich uczelni badawczych w latach 2000-2019
Źródło: opracowanie własne na podstawie danych z CWTS Leiden

Przeanalizowałyśmy dane dotyczące dziesięciu uczelni badawczych w Polsce w latach 2011-2021. Średnie wskaźniki sukcesu dla ogółu wniosków krajowych mieszczą się pomiędzy 19% w roku 2014, a 38% w roku 2011, po roku 2020 zaś nieco powyżej 26%. Trend ten jest bardzo podobny dla poszczególnych grup nauk: HS (nauki humanistyczne i o sztuce), NZ (nauki o zdrowiu) i ST (nauki ścisłe i techniczne). Wahania wartości wskaźników sukcesu w kolejnych latach mają związek z ilością środków przekazywanych przez Ministerstwo Edukacji i Nauki (wcześniej Ministerstwo Edukacji Narodowej oraz Ministerstwo Nauki i Szkolnictwa Wyższego ), nie zaś ze specyfiką naukową wyróżnionych grup nauk. Stąd w dalszej części artykułu dane przedstawiamy bez uwzględnienia tego podziału.

Tabela 1 zawiera m.in. dane na temat liczby wniosków złożonych, zakwalifikowanych do finansowania oraz wskaźników sukcesu dla wszystkich konkursów krajowych łącznie rozstrzygniętych w 2021 r. w podziale na poszczególne uczelnie badawcze. Najwyższy wskaźnik sukcesu, czyli największą skuteczność w pozyskiwaniu finansowania projektów badawczych osiągnął Uniwersytet Warszawski (30%), najniższy zaś – Politechnika Śląska (16,5%).

Wyniki analizy danych

Wykres 2. Udział publikacji w MDPI – średnie wartości dla uczelni europejskich, uczelni z Polski oraz polskich uczelni badawczych w latach 2000-2019
Źródło: opracowanie własne na podstawie danych z CWTS Leiden

Do przeprowadzenia analizy wykorzystano dane CWTS Leiden należące do wyszczególnionych poniżej kategorii, uzyskane w ramach projektu finansowanego przez RISIS2.EU: liczbę publikacji indeksowanych w WoS, cytowania w przeliczeniu na publikację, odsetek publikacji w 10% publikacji o największej liczbie cytowań, odsetek publikacji w Open Access, odsetek publikacji w MDPI.

W grupie 35 krajowych jednostek naukowych (dokładna lista uczelni dostępna u autorów) znajduje się 10 wspomnianych uczelni badawczych oraz te o niższych wskaźnikach publikacyjnych. W całej Europie natomiast jest 3265 jednostek badawczych, charakteryzujących się różną intensyfikacją publikacyjną (uczelnie pochodzą z L, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GR, HR, HU, IE, IS, IT, LI, LT, LU, LV, MT, NL, NO, PL, PT, RO, RS, SE). Z analizy danych przedstawionych na wykresie 1 wynika, że średnia liczba publikacji przypadających na daną uczelnię jest najwyższa w uczelniach badawczych. Z kolei biorąc pod uwagę liczbę cytowań przypadających na jedną publikację, najwyższe wartości odnotowano dla średniej europejskiej, najniższe dla średniej z ogółu uczelni polskich, natomiast uczelnie badawcze mają wynik pośredni. Można zauważyć tendencję wzrostową udziału procentowego publikacji w Top 10% najlepszych publikacji, przy czym najwyższą średnią charakteryzują się uczelnie europejskie, uczelnie badawcze w Polsce mają podobny trend, lecz niższe średnie wartości wskaźnika, natomiast średnie wartości w poszczególnych latach dla polskich uczelni ogółem wykazują dość dużą zmienność. Od 2000 r. udział publikacji w Open Access dla trzech wyróżnionych grup systematycznie wzrasta. Dla wszystkich wyróżnionych grup wartości są zbliżone, przy czym dla uczelni badawczych wartość wskaźnika podniosła się z poziomu 10% w 2000 r. do 50% w 2019 r.

Wykres 3. Wskaźniki sukcesu w pozyskiwaniu grantów z NCN w 2021 r., a udział procentowy publikacji MDPI przypadający na daną uczelnię badawczą w Polsce
Źródło: opracowanie własne na podstawie danych z CWTS Leiden, materiałów z NCN oraz MEiN

Wydawnictwa MDPI rozpoczęły działalność w 1996 r., jednak od 2013 r. wyraźnie ją zintensyfikowały. Na wykresie 2 przedstawiono udział publikacji wydawanych przez MDPI w ogólnej liczbie publikacji naukowych. Wzrasta on systematycznie z roku na rok, przy czym w latach 2016-2019 największy skok zanotowały polskie uczelnie ogółem oraz uczelnie badawcze. To tendencja charakterystyczna także dla europejskich jednostek naukowych, ale w tamtej grupie tempo przyrostu jest wolniejsze. W tabeli 1 przedstawiono udział procentowy publikacji MDPI w odniesieniu do dorobku publikacyjnego poszczególnych uczelni badawczych (kolumna G). Dane wskazują, że w 2019 r. naukowcy z Politechniki Śląskiej wydali 23% artykułów w MDPI, natomiast z Politechniki Gdańskiej około 17%. Na drugim biegunie znajdują się Uniwersytet im. Adama Mickiewicza w Poznaniu oraz Uniwersytet Warszawski, z odpowiednio 6,4% i 4,7% tego typu publikacji.

Wykres 3 przedstawia korelację pomiędzy udziałem publikacji w MDPI (oś x, dane z tabeli 1, kolumna G), a wskaźnikami sukcesu polskich uczelni badawczych w pozyskiwaniu finansowania w drodze konkursów ogłaszanych przez NCN i rozstrzygniętych w 2021 r. (oś y, dane z tabeli 1, kolumna D). Z kolei wykres 4 przedstawia analogiczne dane, przy czym punktem odniesienia jest sukces grantowy uczelni badawczych uwzględniający liczbę zatrudnionych pracowników naukowych (liczba przyznanych grantów w przeliczeniu na liczbę etatów naukowych zadeklarowanych przez tę uczelnię na dzień 31.12.2021 r. – oś y, dane z tabeli 1, kolumna F) oraz udział publikacji w MDPI (oś x, dane z tabeli 1, kolumna G). Na obu wykresach widać, że im wyższy jest udział procentowy publikacji przypadający na daną uczelnię badawczą, tym niższy wskaźnik sukcesu w pozyskiwaniu grantów z NCN.

Eksperci NCN nisko oceniają MDPI

Wykres 4. Liczba przyznanych przez NCN grantów badawczych w 2021 r. w przeliczeniu na liczbę pracowników naukowych, a udział procentowy publikacji MDPI przypadający na daną uczelnię badawczą w Polsce
Źródło: opracowanie własne na podstawie danych z CWTS Leiden, materiałów z NCN oraz MEiN

Poszukując odpowiedzi na postawione pytanie badawcze dotyczące związku pomiędzy udziałem procentowym publikacji w MDPI przypadającym na daną jednostkę naukową a wskaźnikiem sukcesu w pozyskiwaniu grantów z NCN, stwierdziłyśmy korelację ujemną. Wskazuje ona, że im wyższy jest udział publikacji w czasopismach wydawanych przez MDPI, tym niższe są wskaźniki sukcesu w skutecznym wnioskowaniu o finansowanie badań naukowych przez NCN. Można się tu pokusić o postawienie tezy, że eksperci NCN, którzy oceniają wnioski badawcze, biorąc pod uwagę m.in. jakość dorobku naukowego kierownika projektu, uznają publikacje w MDPI za teksty o niskiej wartości naukowej.

Przyjęcie do analizy danych dotyczących MDPI z 2019 r. było spowodowane nie tylko możliwością ich uzyskania, ale również założeniem, że publikowanie otrzymanych wyników badań naukowych poprzedza składanie wniosków do NCN. Dodatkowo należy zaznaczyć, że jest to analiza uproszczona, przeprowadzona jedynie dla uczelni badawczych, które osiągają jedne z najwyższych wskaźników sukcesu w NCN, a reprezentujący je naukowcy publikują w najbardziej prestiżowych czasopismach. Analizę tę warto rozszerzyć o większą liczbę jednostek naukowych w Polsce.

Trzeba także podkreślić, że MDPI to jedna z grup wydawnictw o wątpliwej renomie. Podobną analizę należałoby przeprowadzić dla innych wydawców stosujących model biznesowy Open Access, takich jak: BioMed Central, Copernicus Publications, Dove Medical Press, Frontiers, Hindawi, Open Library of Humanities, PLOS.

Zawarte w artykule wnioski mogą być ważną wskazówką do opracowania właściwych strategii publikacyjnych przez gremia decyzyjne polskich jednostek naukowych.