logo
FA 1/2023 kultura recenzji naukowych

Grażyna Woroniecka

Co straciliśmy, co zyskaliśmy?

Recenzje prac „na stopień” w ciągu minionego trzydziestolecia

Co straciliśmy, co zyskaliśmy? 1

Rys. Sławomir Makal

Zamiast pisać ogólnie znane rzeczy o ilościowych parametrach ocen, o „punktozie”, „grantozie” i spółdzielniach wzajemnych cytowań, którymi odpowiedziało środowisko na próby sformalizowania oceny dorobku naukowego, zaproponuję przyjrzenie się temu, co w ich efekcie straciliśmy, a co zyskaliśmy w wymiarze kultury naukowej.

Kiedy patrzę wstecz na ponad trzydzieści lat swojej pracy na uczelniach, to dostrzegam, że praktycznie wiąże się ona cały czas z podleganiem ocenom w formie recenzji, w tym dwóm o charakterze rozstrzygającym: doktorskich i habilitacyjnych. Te etapy w latach dziewięćdziesiątych wyznaczały bezpieczeństwo zatrudnienia i tzw. okresy rotacyjne. Alternatywą było czasowe przeniesienie na etat dydaktyczny lub techniczny, na których zwiększone pule innych obowiązków utrudniały uzyskanie brakującego stopnia naukowego.

W środowiskach mniejszych uczelni, które nie dysponowały uprawnieniami do nadawania stopni naukowych, młodsze kadry generalnie podzielały przeświadczenie, że przewód jest loterią; żeby zmniejszyć ryzyko, należało postarać się o „patrona”, życzliwą osobę, która pomoże pokonać rafy recenzji. Doktorant miał promotora, habilitant już nie. Inaczej sprawy przedstawiały się z perspektywy bardziej prominentnych ośrodków, które same reglamentowały stopnie naukowe. Do nich głównie odnoszą się stawiane dziś na różnych forach zarzuty „niemoralnego familizmu”, „chowu wsobnego” czy uczelnianego feudalizmu.

Procedury recenzyjne, formalnie takie same dla wszystkich, przebiegały jednak w dwóch bardzo od siebie odległych światach. W jednych osoba oceniana występowała jako nikomu nieznana (zwłaszcza habilitant), w drugich jako ta, która dostała przyzwolenie na awans. Diametralnie różny stopień niepewności powodował odmienne strategie zabiegania o sukces. Nie bez znaczenia okazała się także autorefleksyjność środowisk naukowych, których interesy często bywały rozbieżne w tej kwestii, co czyniło starania o zmianę regulacji formalnych przedsięwzięciem z gruntu politycznym.

Zmiany ustawowe, zwłaszcza z lat 2011 i 2018, zmierzały w kierunku dookreślenia kryteriów oceny prac naukowych do takiego stopnia, aby procedura recenzowania dorobku stała się możliwie najbardziej sformalizowana, co miało zapewnić jej przewidywalność. Przewidywalność – dodajmy – w wymiarze merytorycznym, a nie personalnym. Zamiast pisać ogólnie znane rzeczy o ilościowych parametrach ocen, o „punktozie”, „grantozie” i spółdzielniach wzajemnych cytowań, którymi odpowiedziało środowisko naukowe na te próby, zaproponuję przyjrzenie się temu, co w ich efekcie straciliśmy, a co zyskaliśmy w wymiarze kultury naukowej. Moje wnioski odnoszą się wyłącznie do socjologii (obecnie „nauk socjologicznych”), gdyż tylko do tej dyscypliny ogranicza się zbierany przeze mnie od pierwszej połowy lat dziewięćdziesiątych materiał empiryczny: bogaty zbiór recenzji doktorskich i habilitacyjnych.

Cezurą w strukturze recenzji prac „na stopień” jest ustawa z roku 2011. Recenzje pisane przed i po wejściu w życie tego aktu prawnego znacząco się od siebie różnią. Po kilkuletnim okresie przejściowym ukazują się wręcz dwie różne kultury naukowe: „przed” i „po”. „Przed” pytania stawiane recenzentowi w związku z ocenianą pracą zredagowane były dość ogólnie, z respektem wobec jego/jej funkcji eksperckiej: czy rozprawa spełnia warunki ustawowe, a dorobek naukowy lub artystyczny uzasadnia nadanie odpowiedniego stopnia naukowego. Recenzje habilitacyjne z tego okresu opatrzone są różnymi tytułami: „Opinia o dorobku naukowym, dydaktycznym i organizacyjnym dr X” (1997), „Opinia o dorobku naukowym dr X” (1999), „Recenzja rozprawy habilitacyjnej i dorobku naukowego dr X” (2000), „Recenzja dorobku naukowego i rozprawy habilitacyjnej dr X” (2002).

Słabo uregulowany przepisami

Dwa elementy obligatoryjne: rozprawa i dorobek naukowy występują w różnej kolejności, zasadniczo traktowane jako równoważne, „dorobek organizacyjny” (w tym dydaktyczny) może zostać oceniony, ale nie musi. W moim zbiorze recenzji z tego okresu dorobek dydaktyczny wskazany jest w tytule w 1% badanych tekstów, organizacyjny w 3%. Zdawać się zatem może, że te aspekty ocenianej aktywności są mało istotne. Tymczasem w recenzji z 2001 roku autor pisze: „Można przypuszczać, że dr X jest doświadczonym dydaktykiem z prawie dwudziestoletnim stażem pracy, realizowanym zarówno w szkołach wyższych różnego typu, jak i w placówce uniwersyteckiej. Trudno jednak cokolwiek więcej o tych doświadczeniach napisać i je ocenić z uwagi na wspomniane już braki dokumentacyjne. Nie ukrywam, że jest to w mojej praktyce recenzenckiej pierwszy taki przypadek (wszystkie podkreślenia G.W.), aby dokumentacja awansowa nie zawierała ważnych – jak wolno sądzić – informacji o dokonaniach kandydata” (H 017/2001). [Oznaczenia kodowe odnoszą się do recenzji habilitacyjnych (H), numer recenzji nie wynika z chronologii, ale z matrycy kodowania przyjętej na potrzeby szerszych badań, dlatego wyłącznie na potrzeby niniejszego tekstu do numeru dodałam rok powstania recenzji].

W innym przypadku z kolei czytamy: „W pracy dr X ogromną rolę odgrywa także dydaktyka (…) X w swym autoreferacie przekonująco pokazuje, jak teoretyczne pomysły i inspiracje poddaje wymagającemu testowi zajęć dydaktycznych…” (H 022/2002).

W puli dorobku organizacyjnego pojawia się organizowanie konferencji, praca w sekcjach Polskiego Towarzystwa Socjologicznego, przekłady, ale też funkcje pełnione w instytutach i na wydziałach, udziały w komisjach stypendialnych itp. Dorobek organizacyjno-dydaktyczny występuje, jak widać, w sposób dość słabo uregulowany przepisami; jego wykazanie lub nie zależy od autora, a ocena tej decyzji dokonywana jest subiektywnie przez recenzenta na podstawie jego/jej wcześniejszych doświadczeń. W trakcie kolokwiów habilitacyjnych nierzadko przestrzeń ta ukazywała się jako swoiste pole dialogu, który habilitant i recenzent mogli, lecz nie musieli nawiązać. Innymi słowy, w tym niejasno zdefiniowanym obszarze wymogów zawiera się istotna porcja tacit knowledge: informacja o środowiskowej kompetencji kandydata, który albo wie, albo nie wie, co jest ważne.

Konkluzje przyjmują rozmaitą postać

Najważniejszą jednak częścią recenzji była ocena dorobku naukowego i rozprawy habilitacyjnej. Kolejność tych ocen, ich rozłączność, komplementarność lub synteza, były kwestią indywidualnych wyborów i nie dostrzegłam tu wyraźnej przewagi żadnego rozwiązania. Przeciętna długość tekstu zawierającego ocenę i – zazwyczaj – merytoryczną dyskusję z tezami rozprawy, to ok. 4-6 stron zawierających też zwykle streszczenie pracy. Ocena pozostałego dorobku – poza nielicznymi wyjątkami – jest zwykle krótsza i bardziej syntetyczna: zawiera wymienienie liczby i form publikacji, czasem opinię o ich spójności z tematem rozprawy i między sobą, często recenzent tłumaczy np. lokalność publikacji tematyką pracy lub specyfiką środowiska naukowego osoby ocenianej. Nie dostrzegłam wyraźnych kryteriów, które byłyby zastosowane w przeważającej liczbie recenzji. Doskonale wyraża to uwaga jednego z autorów: „(w)ypada ocenić tę rozprawę (a w tle też i ten dorobek). , jak mawiał wielki starożytny założyciel myślenia strukturalistycznego (…)” (H 036/2002).

W istocie wygląda na to, że recenzenci starają się ustalić rangę przedstawionego dorobku naukowego, kierując się osobistym doświadczeniem, a następnie jak najżyczliwiej zinterpretować to, co widzą (Szerzej o strategiach „ratunkowych” recenzentów pisałam w: Recenzje naukowe jako materiał badawczy, „Przegląd Socjologiczny”, t. LXIV, zesz. 4/2015).

Konkluzje także przyjmują w tym okresie rozmaitą postać. Czasem syntetyczną: „Rozprawa habilitacyjna i cały dorobek naukowy dr X świadczą o bardzo wysokim ich poziomie naukowym. (…) Uważam, że rozprawa dr X może być uznana jako rozprawa habilitacyjna” (H 092/2003). Czasem odnoszą tylko do książki: „Podkreślając raz jeszcze, że uznaję tę książkę za wydarzenie czasopiśmiennictwa naukowego – wnoszę o dopuszczenie dr X do dalszych etapów procedury habilitacyjnej” (H 107/2004). Czasem odwołują się do procedur formalnych: „Dochodzę tym samym do ogólnej oceny dorobku X z punktu widzenia wymogów habilitacyjnych. Uważam, że dorobek ten, uzyskany po doktoracie, a szczególnie praca xxxx spełnia wymogi stawiane w przewodzie habilitacyjnym” (H 042/2002). Czasem w konkluzji wyraża się wahanie autora: „Ważniejsze jest natomiast, co wnosi merytorycznie rozprawa dr. X. Moim zdaniem dostatecznie dużo, żeby dopuścić go do colloquium habilitacyjnego, a za mało, żeby ta recenzja była wyrazem entuzjazmu i zadowolenia z na niwie uprawiania socjologii” (H 036/2002). A czasem konkluzja zostaje warunkowo odroczona: „Mam nadzieję, że kolokwium habilitacyjne pozwoli mi na uzupełnienie wiedzy o jego dorobku badawczym, dydaktycznym i publikacyjnym” (H 017/2001).

Generalnie rzecz ujmując, recenzje zwykle były tak czy inaczej konkluzywne, choć w części z nich nieco zaskakiwał poziom krytycyzmu w trakcie oceny książki w kontekście jednoznacznie pozytywnej konkluzji lub odwrotnie – umiarkowanie entuzjastyczna konkluzja i brak argumentów krytycznych wobec rozprawy. Formalnie wszyscy uczestnicy przewodu mieli świadomość, że przed osobą ocenianą jeszcze pozostają dwa etapy odrębnie ewaluowane: kolokwium i wykład habilitacyjny. Osobiście nie spotkałam się z oficjalną prośbą rad wydziałów o uzupełnienie recenzji, choć w trakcie posiedzeń poprzedzających kolokwia były formułowane prośby o dodanie elementów konkluzji do protokołu.

Istne eseje naukowe, dokument rozwoju lokalnych nurtów dyscypliny

Nowelizacje odnośnych ustaw oraz głosy części środowiska naukowego dowodzą, że ówczesna praktyka recenzowania oceniana była bardzo krytycznie. Nie do końca mogę się pod tą krytyką podpisać. Ocenianie błędów merytorycznych recenzji jest bardzo skomplikowane, gdyż badacz nie dysponuje materiałem ocenianym. W swoich badaniach trafiłam na jeden ewidentny błąd wynikający z niestaranności recenzenta: twierdził on, że badanie będące podstawą habilitacji przeprowadzono w trakcie jednorazowego zdarzenia społecznego, tymczasem przedmiotem badań była kilkuletnia sekwencja takich zdarzeń. Błąd ten nie miał zresztą negatywnych skutków dla osoby ocenianej. Zarzuty klikowości, „chowu wsobnego” i tym podobne, które odnoszą się do kryteriów dających równe szanse wszystkim osobom ocenianym, nie wydają się rozstrzygające: silne środowiska naukowe „wyposażają” swoich faworytów według takich skal, jakie akurat stanowią gwarancję sukcesu, słabe nie pomagają w uzyskaniu dziś wysoko ocenianych składników dorobku. Pod tym względem kierunek zmian proceduralnych pewnie przyniósł zawód swoim autorom. Fakt, że informacja o konkretnym „wkładzie” naukowym do dyscypliny często rozproszona była na kilku stronach merytorycznej dyskusji, nie mógł przeszkadzać gronom eksperckim, do których adresowane były recenzje. Wiele badanych przeze mnie recenzji z okresu przed 2011 rokiem, to istne eseje naukowe, same w sobie godne publikacji. Niosą informację o autorze, o priorytetach jego środowiska naukowego, tym samym stanowią dokument rozwoju lokalnych nurtów dyscypliny. Tryby powoływania recenzentów przez uprawnione ośrodki ukazują najzupełniej normalną praktykę społeczną, w myśl której dobierani są oni według klucza możliwie największego konsensu stylów badawczych, co w dyscyplinach wieloparadygmatycznych jest w pełni racjonalne.

Z mojej perspektywy – badacza zjawiska krytyki naukowej – ustawa z 2011 roku przyniosła jeden pozytywny skutek: jawność recenzji „na stopień”. Wcześniej uzyskiwałam materiały badawcze głównie z czterech źródeł: własnej pracy akademickiej, prosząc znajomych o recenzje ich prac, jako członkini rady naukowej posiadającej uprawnienia do doktoryzowania i habilitowania oraz kiedy w roli recenzenta/członka komisji uzyskiwałam dostęp do kompletu recenzji w innych ośrodkach. Ogólnie panował bowiem klimat opinii, według której jest to materiał tajny, osobisty i przez to niedostępny osobom z zewnątrz. Po 2011 roku teksty recenzji jako materiał jawny zostały zawieszone na stronach Centralnej Komisji ds. Stopni i Tytułów. Niewątpliwie wpłynęło to na poprawę ich strony redaktorskiej, niemal znikły często wcześniej spotykane literówki, błędy stylistyczne czy mylenie nazwiska osoby ocenianej. Inne zmiany następowały wolniej.

W ustawie z 2011 roku, uzupełnionej rozporządzeniem MNiSW z 1 września 2011 r. wśród ośmiu kryteriów oceny osiągnięć habilitanta zwłaszcza trzy okazały się tyleż nowe, co kontrowersyjne. Sumaryczny impact factor publikacji naukowych według listy JCR, liczba cytowań publikacji według bazy WoS i indeks Hirscha opublikowanych publikacji, także według bazy WoS, miały w intencji zmierzyć ponadlokalny wpływ wyników prowadzonych badań, rozpoznawalność kandydatów w szerszym środowisku naukowym, a przede wszystkim ukazać, czy ich prace są widzialne za granicą. Kompleks list rankingowych, tak widoczny w komunikacji politycznej na temat nauki, tu dał o sobie znać z pełną mocą. Ukute zostało nawet nowe, okropne słowo, w którym zawiera się nacisk na priorytety polityczne: umiędzynarodowienie.

Zamiast analizy treści publikacji można stwierdzić niepożądany „brak”

Recenzje powstające w pierwszych latach obowiązywania nowych regulacji nie wskazują na ich entuzjastyczne przyjęcie.

„Choć „jednotematyczny cykl publikacji budzi moje zastrzeżenia z powodu rozproszenia tematycznego (…) z racji relatywnej nowości uwzględniania tej formy dorobku w procedurze habilitacyjnej i mojego braku doświadczenia w jej ocenie, jestem skłonna zaakceptować ten dorobek, choć bez specjalnego entuzjazmu” (H 007/2013), czytamy w roku 2013. W podobnym duchu część recenzentów wypowiada się o narzuconym sposobie oceny publikacji: „Ocena tych wszystkich publikacji na podstawie indeksów Web of Science byłaby w moim rozumieniu postępowaniem nieadekwatnym do ich znaczenia i nieoddającym obecnej i przyszłej pozycji Habilitantki w socjologii polskiej (w Web of Science 6, Intex Hirscha 1). Przede wszystkim widzę, że jest ona bardzo uczciwa w tym, co pisze i nie dostrzegam licznych pozycji w dorobku publikacyjnym napisanych tylko po to, by zdobyć kolejne punkty, lecz nie mając właściwie niczego ciekawego „od siebie” do powiedzenia, co ostatnio zdarza się nader często” (H 055/2014). Recenzent dzieli się spostrzeżeniem o powstaniu praktyki „pisania dla punktów”, choć nie zarzuca tego postępowania ocenianej osobie. Albo: „Niestety wykaz przygotowany zgodnie z wymaganiami dokumentacyjnymi w ramach tzw. nowej procedury nie odpowiada na tę moją wątpliwość. A ja chcę zawsze zapoznać się z CAŁOŚCIĄ osiągnięć naukowych (…)” (H 028/2014). Tu recenzent odbiera narzucone kategorie oceny jako ograniczające jego dostęp do dorobku habilitanta.

W innych recenzjach z lat 2011-2014 (Materiałem poddanym systematycznemu badaniu są recenzje powstałe w latach 1997– 2015, o praktykach późniejszych piszę na podstawie doświadczeń zawodowych, nie badawczych.) często wraca wątek wpisywania danych liczbowych „na potrzeby parametryzacji”, sugestie, iż niczemu one nie służą, ubolewanie nad schematycznością wniosków powstających zgodnie z nowymi przepisami i – sporadycznie, ale nawracająco – podejrzenie o „strategie publikacyjne”, dzięki którym oceniani podwyższają sobie wymagane indeksy. Ostatecznie jednak wymogi te zostały na tyle przyswojone, że po 2014 roku nie znalazłam już odniesień do „starej” i „nowej” procedury”; we wszystkich recenzjach pojawia się akapit odnoszący się do wymaganych wskaźników: „Indeks Hirscha Habilitantki wg Google Scholar wynosi 4. Według bazy Scopus indeks Habilitantki wynosi już jednak tylko 1, gdyż w bazie odnotowano jej 6 publikacji cytowanych łącznie 2 razy. W kluczowej bazie Web of Science znajdują się trzy pozycje autorstwa Habilitantki. W tym dwa teksty w języku angielskim (…) Żaden z nich nie ma jednak odnotowanego cytowania, co oznacza, że dla tzw. „Listy Filadelfijskiej” wartości indeksu Hirscha Habilitantki h=0” (H 052/2015).

W tym fragmencie pojawia się zupełnie nowy motyw, który będzie później stale obecny w kontekście wskaźników, ale też w kontekście aktywności międzynarodowej – motyw braku, niedostatku, niedoboru, który epizodycznie obecny był nieco wcześniej, lecz nie tak powszechnie: „Według systemu Harzing’s Publish or Perish liczba cytowań prac Habilitanta wynosi 18, a współczynnik Hirscha 2. (…) daje się zatem zauważyć brak szerszego doświadczenia Habilitanta w zakresie kierowania i realizacji projektów badawczych o ponadlokalnym charakterze” (H 005/2014).

Wskaźniki lokują dorobek w opozycji: lokalne – ponadlokalne, interpretacja liczby cytowań pozwala ocenić doświadczenie w kierowaniu projektami badawczymi, zależność przyczynowa jest znaturalizowana („zatem”) i zamiast analizy treści publikacji można w jednym akapicie stwierdzić niepożądany „brak”. I w kontekście „umiędzynarodowienia” oraz związanego z nim drugiego magicznego słowa – „mobilności”: „Jeśli chodzi o staże i stypendia w zagranicznych ośrodkach naukowych i akademickich, to można zauważyć brak mobilności w tym zakresie. Jedynie na początku kariery naukowej, w czasach gdy był jeszcze asystentem (…) utrzymywał kontakt z niemieckim środowiskiem naukowym. W późniejszym czasie, aż do chwili obecnej ta aktywność jest zdecydowanie mniejsza” (H 054/2014).

W miejsce kilkustronicowej dyskusji merytorycznej recenzje po 2014 roku coraz częściej zawierają serie krótkich akapitów odwołujących się do liczb i „braków”. Wcześniejsza sylwetka habilitanta jako troskliwego kontynuatora swojej szkoły myślowej, godnego następcy, który wykazał się koniecznymi kompetencjami, o czym poświadczają autorytety w recenzjach dopuszczających go do grona równych sobie, praktycznie znika. Wręcz trąci myszką, jej przywołanie jest niepożądane: „Jest to więc typowa kariera polskiego naukowca „od studenta do profesora” w tej samej uczelni. Nie jest to zarzut, ale stwierdzenie dość smutnego faktu” (H 035/2015).

Dziś sylwetka ta zakłada „mobilność” od samych początków kariery, aktywność w zdobywaniu grantów, umiejętność publikowania w „punktowanych” czasopismach, zgodę na tymczasowość zatrudnienia zawoalowaną figowym listkiem „rozwoju”. Abstrahując od strukturalnych problemów wdrażania wzorców korporacyjnych w odmienną od źródłowej rzeczywistość kulturową, instytucjonalną, ekonomiczną i polityczną, gdyż to oddzielny temat, i pozostając jedynie przy problematyce recenzji nie sposób oprzeć się kilku wnioskom:

– Recenzenci po krótkim okresie przejściowym dość skutecznie przyswoili sobie nowy styl oficjalnej krytyki naukowej. Szczegółowa enumeracja wymogów pozwala pisać teksty krótsze, bardziej sformalizowane, o narzuconej strukturze. Ich zakładana jawność działa motywująco na przestrzeganie wymogów odnośnie do formy.

– Recenzenci rzadziej podejmują w tekstach dyskusję z tezami habilitanta, mają bowiem świadomość, że kontakt z ocenianą osobą jedynie w ograniczonym stopniu pozwoli na jej kontynuację w ramach procedury. Gdyby zatem spojrzeć na jakość recenzji od strony ich funkcji jako dialogu w nauce, w efekcie rozwiązań z 2011 roku, można zauważyć jej pewien spadek.

– „Demokratyzacja” i „kwantyfikacja” procedury spowodowały przeniknięcie przez habilitacyjne sito trudnej do oszacowania liczby kandydatów, którzy nie spełniali „starych” kryteriów. Są to beneficjenci obniżenia rangi oceny „jakościowej”.

– Główny ciężar oceny spoczywa, jak dawniej, na radzie/komisji habilitacyjnej, w której obecni są przedstawiciele środowiska naukowego osoby ocenianej. Zatem opinia lokalna, cechy osobiste, tzw. kapitał społeczny habilitanta nadal, choć w mniejszym stopniu, pozostają kryteriami oceny ważnymi, choć niejawnymi. Wciąż podejmowane próby „uszczelniania” systemu przez np. przepisy nakazujące komisjom ocenę negatywną przy dwóch negatywnych recenzjach wskazują jednoznacznie na intencję ustawodawcy ograniczenia autonomii komisji i rad naukowych.

– Recenzent przesunięty został z pozycji autorytetu na pozycję słabo opłacanego eksperta pracującego według dość ścisłych wytycznych. Nie jest to czynnik motywujący do najwyższej jakości pracy; jeśli wciąż spływa tak wiele dobrze napisanych i kompetentnych recenzji, zawdzięczamy to raczej wysokiemu morale autorów niż doskonaleniu procedur.

Co straciliśmy?

Straciliśmy mechanizmy podtrzymujące spójność i ciągłość szkół i nurtów w nauce, system mistrzowski dający czasowe poczucie bezpieczeństwa i możliwość doskonalenia warsztatu naukowego, kolejne elementy etosu naukowego jako systemu (samo)kontroli etycznej i merytorycznej w nauce. Ich podtrzymywanie wymaga od środowiska pozainstytucjonalnej dodatkowej pracy pedagogicznej.

Co zyskaliśmy? Zyskaliśmy młode kadry pogodzone z prekaryzacją swojego zawodu, gotowe podjąć się roli badaczy – rzemieślników podążających za tematami sponsorowanymi. Czy i dla kogo to dobrze, czy i dla kogo źle, to już temat na zupełnie inną opowieść.

Prof. dr hab. Grażyna Woroniecka, kierownik Katedry Socjologii Wiedzy i Moralności, Instytut Stosowanych Nauk Społecznych Uniwersytetu Warszawskiego

Wróć