Tieteen tuloksellisuuden mittarit – Monimuotoistunut, profiloitunut ja eurooppalaistunut tutkimuskenttä

Suomen tiedejärjestelmän voimakkaiden muutosten keskellä on tärkeä ymmärtää, mistä Suomen tiede koostuu. Viime aikoina vilkasta keskustelua ovat synnyttäneet suunnitellut rahoitusleikkaukset, vaatimukset yliopistojen roolien selkeyttämisestä, strategisten painopistealueiden valinnat sekä vaatimukset yliopistojen tuloksellisuudesta.

Tuloksellisuutta mittaamme yhä enemmän indikaattorein.  Tuotettujen tutkintojen kappalemäärä, yliopistojen ja tutkimuslaitosten tuottamat innovaatiot ja tieteellisten julkaisujen kappalemäärä ovat vain muutamia esimerkkejä mittareista, joilla pyrimme ymmärtämään tieteen tuottamaa arvoa yhteiskuntaan.  Näkemyksemme mukaan, usein keskusteluun nousevat indikaattoreihin perustuvat listaukset organisaatioiden paremmuudesta tai tuottavuudesta luovat hyvin kapeakatseisen kuvan tieteestä. Keskusteltaessa tieteen tilasta, tasosta tai tuloksellisuudesta mielekkäämpää olisi pyrkiä ymmärtämään laajempia systeemisiä muutoksia, kuin tarttua yksittäisen indikaattoreihin. Yhdymme koulutussosiologian professori Osmo Kivisen ja tutkija Juha Hedmanin kritiikkiin: tieteen tulosindikaattorien käyttö tulostaulukkoina on herkkä väärinymmärryksille ja omiaan johtamaan päätöksiin, jotka ovat korvaamattomaksi vahingoksi.

Toteuttamamme CEK-tutkimushanke pyrki ymmärtämään indikaattoreiden taustaa hahmottaaksemme paremmin muutoksia Suomen tutkimusjärjestelmässä. Samalla pyrimme tarjoamaan johtopäätöksinä laadullisia havaintoja, jotka hyödyntävät tieteen tulosindikaattoreita. Nostammekin seuraavassa esille neljä havaintoa, jotka ovat mielestämme jääneet pienelle huomiolle indikaattorivetoisessa keskustelussa.

Ensimmäisenä ja ehkä tärkeimpänä: Suomen tiede on monimuotoistunut. Suomen tiede on perinteisesti nojannut kahdelle tukijalalle: lääke- ja luonnontieteen tutkimukseen. Näiden rinnalle on kehittymässä uusi, kansainvälisesti merkittävä tukijalka, joka koostuu laajasti informaatioteknologian, yhteiskunta- ja kauppatieteen tutkimuksesta. Tämä tieteen alojen yhdistelmä on ollut Suomen tieteen merkittävin kasvukomponentti, kun tuloksia mitataan kansainvälisillä tiedejulkaisuilla. Vaikka on epäselvää, mitkä yksittäiset kasvavat tutkimusaiheet näyttelevät merkittävää roolia Suomen tutkimuskartalla tulevaisuudessa, jo yleisemmällä tasolla tämä muutos osoittaa, miten tutkimusjärjestelmä jo nyt yhä selkeämmin painottaa teemoja, jotka ovat tärkeitä elinkeinoelämälle.

Monimuotoistumiseen sisältyy myös merkittävä organisatorinen muutos. Tämä nostaa esiin toisen merkittävän havainnon. Tutkimuksen eturintamaan on noussut uusia tutkimusyksiköitä tutkimusteemoilla, jotka poikkeavat Suomelle perinteisestä lääke- ja luonnontieteen huippututkimuksen perinteestä. Vaikuttaakin siltä, että tiedeyhteisö on jo tehnyt valintoja. Tuloksemme nostavat esiin useita yliopistoja ja tutkimuslaitoksia jotka ovat, valintoja tekemällä, onnistuneet kehittymään kohti tutkimuksen eturintamaa. Menestyminen kansainvälisessä tiedekilpailussa on siis jo nyt vaatinut yliopistoilta valintoja ja resurssien kohdentamista.  Siitä, minkä verran tutkimuskenttä tarvitsee lisäprofiloitumista, voidaan tietysti keskustella.

Globaali kilpailu on edellyttänyt tutkijoilta laajaa kansainvälistä tutkimusyhteistyötä. Yhteistyö on nähty, paitsi keinona tuoda osaamista Suomeen, myös synnyttävän huippututkimusta. Kolmantena havaintona nostamme esiin sen, että tuloksemme osoittavat kansainvälisellä tutkimusyhteistyöllä olevan vaikeasti selitettävä suhde tutkimuksen laatuun. Vaikka kansainvälinen yhteistyö tutkimuksessa on kasvussa, tuloksemme kyseenalaistavat: johtavatko nykyiset panostukset kansainvälistymiseen ja siihen, että suomalaisilla on marginaalinen rooli kansainvälisessä huippututkimuksessa ja onko tämä hyödyllisempää kuin kehittää Suomessa sijaitsevia tutkimusryhmiä. Ei ole lainkaan yksiselitteistä, minkä tyyppinen kansainvälinen yhteistyö tuottaa Suomen kannalta eniten arvonlisää.

Viimeisenä, vaikka kansainvälisen yhteisjulkaisemisen vaikutus Suomen tutkimuksen laatuun jäi osittain epäselväksi, tuloksemme nostavat selkeästi esiin integraation Euroopan tutkimusalueeseen. Tämä on kehitystä, joka on tapahtunut pohjoisamerikkalaisen tutkimuksen kustannuksella. Suomalaisten tutkijoiden hyödyntämä tietopohja on yhä selkeämmin peräisin eurooppalaisesta tieteestä, joka osaltaan antaa positiivisen signaalin Euroopan tutkimuksen integraatiosta.

CEK-tutkimushankkeen tulosten yhteenvetona, Suomen tiede näyttäytyy monimuotoisemmalta, profiloituneemmalta sekä eurooppalaisemmalta kuin aiemmin.

Tieteen tuloksellisuutta mitattaessa tutkimuksen tuotosten, kuten julkaisujen analyysillä, voidaan tuottaa arvokasta informaatiota vaikuttavuusarvion tueksi. Kuten esimerkkimme osoittivat, kun indikaattoreita käytetään tuloksien sijaan muuttujina jatko-analyysissä, on mahdollista luoda mielenkiintoisia johtopäätöksiä. Riskinä indikaattorilistojen tiedepolitiikassa on puutteellinen ymmärrys tulosten kontekstista, puhtaat väärinymmärrykset sekä indikaattorien herkkyys pelaamiselle. Väitämme, että tutkijat ovat esimerkiksi äärettömän mukautuvia mekaanisten tuloksellisuusmittareiden käyttöönottoon sekä laajemmin tiedepoliittiseen ohjaukseen. Uusien tuloksellisuusmittareiden ja ohjausmekanismien käyttöön tulisikin sisältyä kriittinen arvio siitä, mitä sivuvaikutuksia tiedeyhteisön mukautuminen kehitettyihin mittareihin ja mekanismeihin aiheuttaa. Jos esimerkiksi palkitsemme patenteista, on varma, että saamme patentteja. Se miten tämä on edistänyt tieteen tuloksellisuutta, on kyseenalaista.

Suomessa on käynnissä merkittävä yhteiskunnallinen rakennemuutos, ja sen myötä tutkimus- ja innovaatiojärjestelmän vaikuttavuusarvioinnin merkitys poliittisessa päätöksenteossa kasvaa. Tiede- ja innovaatiopoliittisen päätöksenteon tulisi kuitenkin pohjautua tutkittuun ja luotettavaan tietoon. Kaavaillut merkittävät muutokset tutkimusrahoitukseen, tutkimusorganisaatioiden toimintaan ja painotukset perus- ja soveltavan tutkimuksen välillä tarvitsevat rinnalleen määrällisiä mittareita, joilla voidaan tuottaa informaatiota tutkimusjärjestelmän muutoksista. Tutkimuksen vaikuttavuuden tai laadun arviointi sekä johtopäätökset tulee kuitenkin aina perustua (vertaisarvioon perustuvaan) laadulliseen analyysiin.

Arho Suominen, Erikoistutkija

Hannes Toivanen, Johtava tutkija

 

Suominen ja Toivanen ovat tutkijoita VTT:n Innovations, Economy and Policy –tiimissä. Suominen on lisäksi Suomen Akatemia tutkijatohtorin tehtävässä projektilla ”Tiede ja teknologiajärjestelmän kehityksen mallintaminen massiivisten tietoaineistojen avulla”.

3 thoughts on “Tieteen tuloksellisuuden mittarit – Monimuotoistunut, profiloitunut ja eurooppalaistunut tutkimuskenttä

  1. Larry Page on todennut “almost every time we try to do something crazy we’ve made progress…” . eli kysymällä rohkeita kysymyksiä ja kyseenalaistamalla totuttuja ajattelu- tai toimintamalleja voi löytyä kokonaan uusia väyliä mennä eteenpäin. Määrälliset mittarit, joilla olisi voitu tuottaa informaatiota tutkimus- ja innovaatiojärjestelmämme muutoksista (historiallisten) aikasarjojen muodossa, olisivat olleet suureen tarpeen siinä vaiheessa kun kansallista innovaatiojärjestelmää lähdettiin muuttamaan. Tällaisia mittareita pitää nyt lähteä rohkeasti kehittämään, tulevaisuutta silmälläpitäen. Kiitos aivan erinomaisen mielenkiintoisesta ja tasapainoisesta kirjoituksesta! Leena

    Like

    • Kiitos kommenteista! Tutkija arvostaa palautetta, erityisesti positiivista. Tätä viestiä juuri pyrimme korostamaan, eli ei pidä sortua käyttämään liian yksisilmäisiä mittareita ja tehdä näistä sitten suureellisia johtopäätöksiä. Jos haluamme hyödyntää mittareita jonkin niin kompleksisen kuin innovaatiojärjestelmä kuvaamiseen, tulee järjestelmää tarkastella systeemisesti ja löytää systeemiin soveltuvat mittarit. Oma ajatteluni lähtee tällä hetkellä teknologiatuotantojärjestelmän (Technology Delivery Systems) käsitteestä, joka on ehkä jäänyt hieman sivuun innovaatiojärjestelmien tutkimuksessa, mutta tarjoaa mielenkiintoisen kehyksen innovaatio- ja liiketoimintaekosysteemien kuvaamiseen. Katsotaan mihin tutkimus tällä saralla johtaa…

      Like

  2. Tutkijat Suominen ja Toivanen kirjoittavat hyvin ja osuvat mielestäni oikeaan. Heidän havaintonsa esimerkiksi indikaattorijärjestelmien osittaisesta harhaisuudesta on ollut yleisesti tunnettu tutkijapiireissä jo pitkään. Pahimmillaan ‘mittarijohtaminen’ johtaa vääriin valintoihin ja kriittisen tutkimuksen näivettymiseen. On ehkä hyvä muistaa sekin, että tutkimusta ja tutkimusalueita on kovin monenlaisia ja -tyyppisiä. Ydinfysiikan, kosmologian, filosofian, kirjallisuuden ja teknistaloudellisen tutkimuksen indikaattorit lienevät kovin erilaisia jos halutaan mitata tutkimuksen laatua ja vaikuttavuutta. Tämä johtaa siihen, ettei ole yhtä oikeaa mittarijärjestelmää eikä yhtä oikeaa kehittämispolkua. Sivistymisen, hyvinvoinnin kasvun ja tiedon jalostumisen tasoa – joita tutkimuksella viime kädessä kai haetaan – on siis vaikea mitata. Lapin yliopiston korkeatasoinen tutkimus voi olla erinäköistä kuin Aalto-yliopiston, VTT:stä ja muista tutkimuslaitoksista puhumattakaan.

    Toki mittaamistakin tarvitaan. Mutta kuten Suominen ja Toivanen toteavat, ei pidä ainoastaan mitata oikein vaan myös tulkita oikein.

    Johtamisen oppikirjat jo 1980-luvulta (esim. Euske) varoittavat kapeakatsantoisen mittarijohtamisen vaaroista. Onneksi keskustelu onkin siirtynyt oikeaan suuntaan, mm. vaikuttavuuden hallintaan. Kun mietitään vaikuttavuutta, niin päästään myös organisaatioiden missioiden ja perustehtävien ääreen.

    Like

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s