Informatyczne narzędzia ewaluacji

Marek Michajłowicz, zastępca dyrektora ds. rozwoju oprogramowania w Ośrodku Przetwarzania Informacji – Państwowym Instytucie Badawczym, przekonuje, że rozwiązania informatyczne wspomagające ewaluację są nie tylko przygotowane lepiej niż poprzednim razem, ale także przyjaźniejsze dla użytkowników.

Uczestniczyłem we wdrażaniu narzędzi informatycznych wspierających proces ewaluacji w 2017 roku, a obecnie jestem odpowiedzialny za jego koordynację. Gdy poprzednio do ostatniej chwili wprowadzane były zmiany legislacyjne, wydawało nam się, że z perspektywy narzędzi informatycznych proces ten jest praktycznie niemożliwy. Eksperci OPI PIB nie mieli wystarczająco dużo czasu na zaprojektowanie odpowiedniej architektury informatycznej, a struktury danych oraz kluczowe założenia potrzebne do realizacji tego skomplikowanego przedsięwzięcia były nam przekazywane do samego końca. Wtedy cały proces opierał się na czterech aplikacjach, w tym na specjalnie opracowanej tzw. ankiecie jednostki. Takie rozwiązania zostały bezpośrednio narzucone poprzez zapisy prawa. Systemy POL-on oraz PBN w założeniu miały być od 2015 roku na gruncie legislacyjnym przygotowane do zbierania danych na potrzeby ewaluacji. W praktyce tylko około 70% danych było spójnych z tym zakresem. Spowodowało to duże problemy z ich wykorzystaniem w ankiecie. Proces wypełniania był żmudny i czasochłonny, a także wymagał odpowiednich kadr, które realizowały procedurę w jednostkach naukowych.

Nowa ustawa zawęziła zakres informacji zbieranych w POL-on i wyeliminowała ankietę jako etap pośredni. Cała procedura stała się łatwiejsza i bardziej transparentna. Aplikacja SEDN nie jest już „czarną skrzynką”, do której ewaluowana jednostka nie ma dostępu. Pełni ona rolę kluczowej aplikacji do sterowania całością procesu, dając podmiotom odpowiednie narzędzia do przygotowania optymalnego zestawu osiągnieć. Z poziomu użytkownika widoczne są najważniejsze funkcje. Poprzez udostępnienie od listopada 2020 roku wersji demo (bazującej na danych produkcyjnych), symulujemy dzień po dniu warunki, w jakich odbędzie się faktyczna ewaluacja. Narzędzia informatyczne do najbliższej ewaluacji zostały już oddane do użytku. W razie potrzeby będziemy wprowadzać odpowiednie modyfikacje. Jesteśmy przekonani, że ten system będzie wspierał w przyszłości każdy kolejny proces oceny.

Prowadzimy w OPI PIB badania narzędzi informatycznych, które wspierają ewaluację w innych krajach. Jak się okazuje, w Polsce mamy do czynienia z najbardziej skomplikowanym i rozbudowanym systemem. Zagraniczne systemy do zarządzania dorobkiem naukowym cechują się większym usieciowieniem różnego typu aplikacji i repozytoriów lokalnych oraz powiązaniem ich z międzynarodowymi bazami bibliometrycznymi. Również zmierzamy w tym kierunku. Dzięki temu, że w Polskiej Bibliografii Naukowej mamy ponad 80 tys. kont zintegrowanych z międzynarodową bazą ORCID, zwiększyła się widoczność polskich autorów w bazach międzynarodowych, a także możliwe stało się wykorzystanie indywidualnych profili naukowców do różnych procesów, chociażby wnioskowania o granty lub na potrzeby kolejnych ewaluacji. Wykorzystujemy również zasoby bazy Web of Science jako zbiór referencyjny. System będzie z pewnością zmierzał w kierunku zwiększenia interoperacyjności w wymiarze międzynarodowym. Kolejnym potwierdzeniem tego trendu jest wzrost integracji z systemami uczelnianymi poprzez maszynowe interfejsy wymiany danych, tzw. API. To ten sam kierunek, jaki wytyczyliśmy w przypadku integracji z systemem POL-on oraz JSA.

Polecam wszystkim zainteresowanym stronę aplikacji SEDN, gdzie od kilku miesięcy prezentujemy globalne statystyki dotyczące ewaluacji. Nie jest wymagane logowanie ani posiadanie odpowiedniego profilu. Uruchomiliśmy również specjalną aplikację, która umożliwia weryfikację danych poszczególnych instytucji. Każda jednostka może dzięki temu porównać zaawansowanie procesu ewaluacji z innymi podmiotami oraz uzyskać informację, ile pracy zostało jeszcze do wykonania, aby zakończyć proces ewaluacji.

Zachęcam, aby nie czekać na ostatni moment z rozpoczęciem prac i nie myśleć kategoriami z ostatniej ewaluacji. Teraz konieczne jest prowadzenie działań w sposób ciągły. Dane są automatycznie przesyłane do aplikacji SEDN. To nie jest już uzupełnianie formularza zbierającego informacje za konkretny okres.

Eksperci OPI PIB służą pomocą wszystkim zainteresowanym. W 2021 roku zrealizowaliśmy 147 szkoleń on-line, w których wzięło udział ponad 15 tys. osób, a także przeprowadziliśmy wspólnie z MEiN dwie konferencje dla ponad 2 tys. uczestników.