Suomalaisia koulutusmyyttejä: Onko kehittävästä arvioinnista mitään hyötyä?

Koulutuksen arviointia ohjaa periaate, jota kutsutaan kehittäväksi arvioinniksi. Sen nimissä tehdään Suomessa monenlaista arviointia, ja itse käsitteen merkitys näyttää vaihtelevan sen mukaan, kuka siitä puhuu.  

Jos kehittävä arviointi on näin keskeinen osa suomalaista arviointijärjestelmää, on syytä kysyä yksinkertainen kysymys: onko siitä todella hyötyä – ja mistä tiedämme, että on?  

Mitä kehittävä arviointi on ja mistä se tuli  

Arviointitutkimuksessa kehittävällä arvioinnilla (developmental evaluation) tarkoitetaan oman käsitykseni mukaan yhdysvaltalaisen Michael Quinn Pattonin 1990-luvulla muotoilemaa lähestymistapaa. Siinä arvioija toimii osana kehittäjätiimiä ja antaa jatkuvaa palautetta toiminnasta, jota kehitetään nopeasti muuttuvassa ympäristössä (Patton 2011). Suomalaiselle kasvatusalalle ajattelua on tuonut erityisesti Päivi Atjonen (2021). Hänen kuvauksessaan kehittävä arvioija on valmentaja ja "kriittinen ystävä", joka rakentaa arvioinnin yhdessä arvioitavien kanssa. Tavoitteena on tuottaa tietoa, jota voidaan hyödyntää juuri kyseisessä toimintaympäristössä, eikä niinkään yleistettäviä tuloksia tai mallien testaamista. 

Kansallisen koulutuksen arviointikeskuksen (Karvin) kehittävä arviointi on taas ymmärtääkseni lähtöisin korkeakoulujen laadunvarmistuksesta, jossa sen englanninkielinen vastine on enhancement-led evaluation (Huusko & Pyykkö 2022). Samansuuntainen liike näkyi muuallakin Euroopassa 1990-luvulla: korkeakoulujen laadunvarmistuksessa alettiin tarkastuksen ja tilivelvollisuuden vastapainoksi korostaa laadun kehittämistä (Filippakou & Tapper 2008). 

Karvin mukaan se on ”osallistavaa ja vuorovaikutteista” arviointia, joka perustuu arvioijan ja arvioitavan väliseen luottamukseen. Arvioitavien tulee voida tuoda esiin epäkohtia ”ilman pelkoa sanktioista”. Kyse ei Karvin mukaan ole vain menetelmästä vaan arvoihin perustuvasta lähestymistavasta (Moitus & Kamppi 2020). 

Karvi ja sen arviointineuvosto toteavat usein, että kehittävän arvioinnin periaate on kirjattu lakiin. Tarkemmin katsottuna asia ei kuitenkaan ole aivan näin. Kehittävää arviointia ei mainita yhdessäkään koululaissa. Perusopetuslaissa on vuodesta 1999 lähtien todettu ainoastaan yleisesti, että arvioinnin tarkoituksena on ”tukea koulutuksen kehittämistä”.  

Itse käsite kehittävä arviointi ilmestyi säädöksiin vasta Karvia koskevassa asetuksessa (1317/2013). Hallituksen esityksen perusteella kirjaus tehtiin, koska lausunnonantajat olivat toivoneet, että arviointeja toteutettaisiin ”jatkossakin” kehittävän arvioinnin periaatteiden mukaisesti (HE 117/2013). Käsitteen varsinainen virallinen määritelmä jää hallituksen esityksen perusteluissa kolmeen virkkeeseen.  

Hämmentävää on se, että kehittävä arviointi määritellään nykyisellään valtion virallisessa sanastossa niin laveasti, että sen sisään voidaan tarpeen mukaan sujauttaa mikä tahansa arviointimenetelmä. Termin määritelmä ei pidä loogisesti vettä: se on kehämäinen eikä rajaa mitään pois. Kyse on mielestäni selvästä kategoriavirheestä. 

Vielä kiinnostavampaa on se, mitä asiakirjoista ei löydy. Nähdäkseni yhdessäkään sen aikaisessa lainvalmisteluasiakirjassa kehittävän arvioinnin valintaa tai sen sisältöä ei perustella tutkimusnäytöllä. Karvin omassa historiikissakin todetaan, ettei periaatteen käyttöönoton tarkasta ajankohdasta tai taustasta ole varmaa tietoa (Huusko & Pyykkö 2022). Suomalaisen koulutuksen arviointia vahvasti ohjaavan periaatteen valinnan perusteet, tarkka määritelmä ja tietopohja jäävät siis yllättävän hämäriksi. 

Mitä kehittävän arvioinnin vaikutuksista tiedetään  

Itse ymmärrän kehittävän arvioinnin Pattonin ja Atjosen määritelmien mukaisesti. Tällöin voidaan kysyä täsmällisemmin, mitä juuri tämän arviointitavan vaikutuksista tiedetään. Kehittämistä korostavia arviointisuuntauksia koskevassa tutkimuksessa on tarkasteltu pääasiassa sitä, käytetäänkö arviointitietoa ja kokevatko arvioinnin kohteet sen hyödylliseksi – ei sitä, paranevatko toiminta tai sen tulokset arvioinnin seurauksena. 

Korkeakoulujen laadunvarmistuksesta, jossa kehittävä arviointi on ollut pitkään käytössä, johtopäätös on samansuuntainen: arviointi on muuttanut hallintoa ja dokumentointia, mutta vaikutukset opiskelijoiden oppimiseen ovat ”suurelta osin tuntemattomia” (Beerkens 2018). Suomessa tutkimus perustuu pitkälti henkilöstön kokemuksiin (esim. Haapakorpi 2011; Overberg & Ala-Vähälä 2020).  

Vaikutusten arviointi olisi kuitenkin mahdollista: kehittävä arviointi on toteutuessaan kehittämishanke eli interventio siinä missä muutkin kehittämistoimet. Se kohdistuu tiettyihin organisaatioihin tiettynä ajankohtana, joten sen vaikutuksia voidaan verrata tilanteeseen, jossa arviointia ei tehty. Jos kehittävä arviointi on niin hyödyllistä kuin sen puolustajat esittävät, sen pitäisi kestää tällainen tarkastelu. Arviointia ei ole toistaiseksi edes yritetty.  

Miksi toimintatapa pysyy, vaikka se ei tuota näyttöä vaikutuksista?  

Jos kehittävä arviointi ei pysty osoittamaan hyötyjään, miksi siitä on tullut suomalaisen arvioinnin kivijalka? Selitystä ei tarvitse etsiä arvioijien motiiveista vaan suomalaisen toimintatavan rakenteesta. Kehittävä arviointi muistuttaa monin tavoin konsultointia eli palvelua, jonka hyödyllisyys voi näyttää itsestään selvältä ilman, että sen vaikutuksia koskaan varsinaisesti testataan.  

Konsultoinnissa asiakas osallistuu kysymysten määrittelyyn, lopputuloksena syntyy suosituksia ja onnistumista mitataan asiakastyytyväisyydellä. Kehittävä arviointi toimii pitkälti samoin: arvioitavat osallistuvat prosessiin, yhteistyössä tehtävä arviointi päättyy ei-sitoviin suosituksiin ja hyötyä kysytään arvioitavilta itseltään. Näennäisesti kaikki voittavat: arvioitava välttyy vertailulta, arvioija saa hyvää palautetta ja ministeriö voi kehua arvioinnin olevan kehittävää.   

Ongelma on, ettei julkisin varoin toteutettavan arvioinnin ensisijaisena tavoitteena pitäisi olla arvioitavien tyytyväisyys tai arviointiprosessin koettu onnistuminen. Olennaista on viime kädessä se, tuottaako arviointi luotettavaa ja päätöksenteon kannalta hyödyllistä tietoa sekä edistääkö se koulutukselle asetettujen tavoitteiden saavuttamista. 

Tällaisella järjestelyllä on surullinen taipumus uusintaa itseään. Kun nykyistä Karvia perustettiin, kehittävän arvioinnin jatkamista vaativat lausunnonantajat – siis pitkälti ne tahot, joita arvioidaan. Kehittävässä arvioinnissa on piirteitä siitä, mitä Michael Power kutsui "todentamisen rituaaleiksi". Arvioinnista itsestään voi tulla osoitus siitä, että toimintaa seurataan, arvioidaan ja kehitetään, vaikka emme tietäisi, onko arviointi lopulta parantanut mitään. Arviointiprosessin onnistuminen alkaa tällöin helposti toimia todisteena itse arvioinnin hyödyllisyydestä (Power 1997).  

Lopuksi  

Asiaan perehtymättömille lienee uutinen, ettei Karvi tee kausaalisia vaikuttavuustutkimuksia. Siis sellaisia tutkimuksia, joiden perusteella voitaisiin päätellä, mikä vaikutus arvioinnilla, koulutusuudistuksella tai jollakin muulla toimenpiteellä on ollut. OECD:n laatimassa ulkoisessa arvioinnissa tämä todettiin suoraan: Karvin arvioinnit tuottavat pääasiassa kuvailevaa tietoa. Painopiste on sen sijaan ollut kehittävässä arvioinnissa. 

Ero arviointitiedon ja vaikuttavuustiedon välillä on tärkeää ymmärtää. Arviointi ei ole tässä sama asia kuin vaikuttavuuden arviointi. Kehittävä arviointi voi tuottaa hyödyllistä tietoa toiminnan prosesseista sekä auttaa tunnistamaan kehittämiskohteita (Atjonen 2016). Se ei kuitenkaan itsessään kerro, mikä toimii, kuinka hyvin se toimii tai johtuiko havaittu muutos juuri arvioinnista tai sen seurauksena tehdyistä toimenpiteistä. 

Monista muista maista poiketen koulutuksen arviointi on Suomessa rakentunut jo vuosikymmenten ajan pitkälti kehittävän arvioinnin ympärille. Tähän on käytetty huomattavasti julkisia resursseja ilman laajempaa keskustelua arviointitavan tarkoituksenmukaisuudesta. Tämä voi osaltaan selittää suomalaisen koulutuksen arvioinnin kummallista ristiriitaa: arvioimme paljon, mutta tiedämme tästä huolimatta hyvin vähän siitä, mikä koulutuksessa todella toimii.  

Tämä kirjoitus on neljäs osa Suomalaisia koulutusmyyttejä -blogisarjaa, jossa pyrin kiinnittämään huomiota siihen, miten suhtaudumme koulutukseen toisinaan varsin myyttisesti. Sarjassa tarkastelen koulutuskeskustelussa usein toistuvia väitteitä ja käsityksiä, joille ei välttämättä löydy vahvaa todellisuuspohjaa. Tarkoituksenani ei ole vain myyttien murtaminen, vaan ennen kaikkea tietoperusteisen ja ratkaisukeskeisen keskustelun edistäminen suomalaisesta koulutusjärjestelmästä.  

Kirjoituksessa esitetyt näkemykset ja tulkinnat ovat kirjoittajan omia eivätkä välttämättä edusta Laboren kantaa.  

Lähteet  

Atjonen, P. (2016). Onnistunut ja vaikuttava arviointi. Aikuiskasvatus, 36(2), 131–140. DOI: 10.33336/aik.88490   

Atjonen, P. (2021). Kehittävä arviointi kasvatusalalla. Kirjokansi. 

Beerkens, M. (2018). Evidence-based policy and higher education quality assurance: Progress, pitfalls and promise. European Journal of Higher Education, 8(3), 272–287.  

Filippakou, O., & Tapper, T. (2008). Quality assurance and quality enhancement in higher education: Contested territories? Higher Education Quarterly, 62(1–2), 84–100. 

Haapakorpi, A. (2011). Quality assurance processes in Finnish universities: Direct and indirect outcomes and organisational conditions. Quality in Higher Education, 17(1), 69–81.  

HE 117/2013 vp. Hallituksen esitys eduskunnalle laiksi Kansallisesta koulutuksen arviointikeskuksesta ja eräiksi siihen liittyviksi laeiksi.  

Huusko, M., & Pyykkö, R. (2022). Kehittävä arviointi Suomen valintana – Yli kolme vuosikymmentä suomalaisen korkeakoulutuksen ulkoista laadunarviointia. Karvi, Julkaisut 25:2022.  

Moitus, S., & Kamppi, P. (2020). Kehittävä arviointi Kansallisessa koulutuksen arviointikeskuksessa. Karvi, Tiivistelmät 8:2020.  

Overberg, J., & Ala-Vähälä, T. (2020). Everlasting friends and enemies? Finnish university personnel's perceptions of internal quality assurance in 2010 and 2017. Scandinavian Journal of Educational Research, 64(5), 744–767.  

Patton, M. Q. (2011). Developmental evaluation: Applying complexity concepts to enhance innovation and use. Guilford Press. 

Power, M. (1997). The audit society: Rituals of verification. Oxford University Press.