Leszek Kaczmarek
Fot. Anna Mirgos
Badacze z Portugalii, kraju nie bogatszego od Polski, mają w dorobku ponad 150 grantów ERC, a polscy mniej niż 100, choć jesteśmy krajem 3,5-krotnie ludniejszym. W Portugalii ocenie podlega niemal 400 jednostek naukowych, łącznie we wszystkich dziedzinach nauki. Ocenę przeprowadza Fundacja Nauki i Technologii (FCT), a jej rezultat ma wpływ na wysokość przyznawanej dotacji, podobnej do naszej subwencji. Ewaluacja jest przeprowadzana co 4-5 lat, podobnie jak w Polsce. Dokonują jej panele dziedzinowe, których jest ponad 30. W ich skład wchodzą wyłącznie uczeni z zagranicy. Pracowałem w panelu „Biomedycyna”; było nas w nim ośmioro, a mieliśmy do oceny 9 placówek. Każdy z nas został wyznaczony do bycia głównym referentem jednej instytucji (jedna osoba miała dwie) i tzw. drugim referentem kilku innych.
W pierwszym etapie pracowaliśmy na dokumentach dostarczonych przez placówki. Była to najtrudniejsza strona naszych działań ze względu na nadmierną obfitość dokumentacji. Każdy z nas miał za zadanie dokonać oceny punktowej (w skali 0-5) wszystkich placówek w trzech kategoriach: dorobku naukowego (kategoria A), potencjału badawczego (B) oraz planów na następne kilka lat (C). Dostaliśmy bardzo obfitą dokumentację od kilkudziesięciu do ponad 600 stron od poszczególnych instytucji – były to w zasadzie niezależne (wydzielone) jednostki naukowe uniwersytetów, trochę jak CeNT UW czy MCB UJ. Były one różnej wielkości: od kilkudziesięciu do ponad 1400 pracowników (łącznie: pracowników naukowych, pomocniczych i doktorantów).
W kryterium A mieliśmy za zdanie ocenić: Postęp wiedzy i wpływ na naukę, z odniesieniem do publikacji, patentów, modeli, prototypów, produktów lub wszelkich innych istotnych wskaźników badań i innowacji; Stopień internacjonalizacji i wspólnych wyników badań; Zaawansowane szkolenie badaczy, w tym studentów studiów magisterskich i doktoranckich oraz post-doków; Rozwój i konsolidację karier na różnych poziomach, w tym integrację badaczy na stałych stanowiskach, w szczególności doktorantów, post-doków oraz kierowników zespołów badawczych; Jakość warunków przyjmowania badaczy, takich jak plany mentoringu, działania na rzecz równości płci i inkluzywności oraz uczciwe i przejrzyste mechanizmy oceny badaczy; Promocję i upowszechnianie badań naukowych i technologicznych, upowszechnianie wyników i działania mające na celu promowanie kultury naukowej, w tym organizację konferencji, kolokwiów i seminariów; Transfer wiedzy i technologii, w tym tworzenie spółek typu spin-off lub partnerstw przemysłowych; Dążenie do zapewnienia finansowania z różnych źródeł krajowych i międzynarodowych (np. ERC, finansowanie UE, regionalne i/lub inne od agencji finansujących); Ochronę i rozpowszechnianie wyników i danych badawczo-rozwojowych z poszanowaniem zasad i praktyk otwartej nauki; promocję kultury naukowej i technologicznej w społeczeństwie, działania o znaczeniu naukowym, technologicznym, kulturalnym, artystycznym, społecznym lub ekonomicznym dla społeczeństwa; istnienie polityki dostępu do danych naukowych.
W kryterium B należało ocenić: Dowody na międzynarodowe i krajowe uznanie zespołu badawczego; Dowody na korzyści dla społeczeństwa; Umiejętności i skład zespołu badawczego w celu odpowiedniego wykonania proponowanego programu; Zdolność do skutecznego ubiegania się o krajowe i międzynarodowe granty i kontrakty badawcze, w tym kontrakty z firmami, gdy ma to zastosowanie.
W kryterium C: Jakość, zasługi, trafność, wpływ, oryginalność/zróżnicowanie i ambicję celów oraz ogólny proponowany program strategiczny na najbliższe 5 lat, w tym kwestie etyczne, o ile ma to zastosowanie, politykę Open Science, gender i otwartość dostępu do danych naukowych, budżet i wniosek o finansowanie programowe; Odpowiednie zarządzanie jednostką badawczo-rozwojową i strukturę organizacyjną, w tym komunikację naukową i działania informacyjne, politykę obywatelską, transfer technologii i ochronę własności intelektualnej; Plany zaawansowanych szkoleń, w szczególności warunki naukowe wspierające programy doktoranckie, udowadniające korzyści dla programu doktoranckiego, wynikające z bliskości działalności badawczej jednostki badawczo-rozwojowej; Odpowiednie zarządzanie zasobami ludzkimi, w tym opracowanie warunków przyciągania i zatrzymywania wykwalifikowanych zasobów ludzkich – chodzi o plany zatrudniania nowych badaczy; Strategię rozwoju kariery dla badaczy na wszystkich etapach ich kariery, w tym dla badaczy na umowach na czas określony.
Musieliśmy się zapoznać ze strategią jednostki badawczo-rozwojowej dotyczącą przeciwdziałania niepewności i integrowania badaczy na stałych stanowiskach zawodowych. W stosownych przypadkach mieliśmy się odnosić do wniosków w innych programach FCT.
Wszystkie trzy kryteria były brane pod uwagę na każdym etapie oceny.
Na drugim etapie spotkaliśmy się z każdą placówką w trybie zdalnym. W przypadku większych jednostek były to spotkania całodniowe, a przypadku mniejszych – kilkugodzinne. Na każde spotkanie składały się rozmowy z poszczególnymi grupami pracowników: kierownictwem, doktorantami i post-dokami oraz samodzielnymi pracownikami nauki.
Trzeci etap polegał na wizytacji placówek, Spędziliśmy 5 dni w Portugalii, podróżując autobusem od Bragi, przez Porto, Coimbrę, Alveiro, Lizbonę (4 placówki), do Faro, spędzając 1,5-2 godz. w każdej placówce, oglądając laboratoria oraz ponownie spotykając się z wymienionymi powyżej grupami pracowników.
W rezultacie przyznaliśmy każdej placówce punktację w każdej w wymienionych trzech kategorii – ostateczna wysokość dotacji publicznej wynika z tej oceny przemnożonej przez liczbę pracowników naukowych z doktoratem – oraz zaproponowaliśmy podział pewnej kwoty na działania projakościowe (tzw. finansowanie programowe).
Warto zwrócić uwagę, że w naszej ocenie nie obowiązywały żadne parametry, miała ona charakter peer-review, jakościowy. Co więcej, na dorobek publikacyjny placówki, który brany był pod uwagę, składało się tylko kilkanaście, najwyżej dwadzieścia parę najważniejszych publikacji.
Na koniec uwagi ogólne. W dobrych portugalskich placówkach dotacja od FCT to kilkanaście procent ogólnego budżetu. Wyraźnie więcej stanowią granty, zwłaszcza zagraniczne, w tym europejskie. Najlepsze placówki, wielkości naszych dużych instytutów PAN, mają po kilkanaście grantów ERC! Ocena panelu była bardzo spójna, bez większych problemów doszliśmy do konsensusu w przypadku każdej z placówek. Na koniec nasza ocena była wielowymiarowa, niezdominowana przez żaden z aspektów aktywności podlegających ocenie. Obyśmy taki model ewaluacji wprowadzili w Polsce.
