Vaikuttavuuden tutkimuksen päivät – tarinoilla syvyyttä arviointiin?

14.12.18

Joulukuun alussa Kuopiossa pidettiin Vaikuttavuuden tutkimuksen päivät, joihin myös Artsi innokkaana osallistui. Seuraavassa on muutama pohdinta ja havainto päivien ansiokkaasta annista. Olen lähestynyt asioita erityisesti siitä, miten ne näyttäytyvät järjestön kannalta ja STEAn raportointivaatimusten, kuten TVS:n (tuloksellisuus- ja vaikutusselvitys) näkökulmasta.

Yhtenä huomiona itselleni nousi esiin, miten hankalaa tiedon kerääminen voi olla myös ammattitutkijoille. Sote-sektorilla asiakkaiden halu tai kykykin vastata esim. lomakekyselyihin voi olla hyvin rajallinen. Toisaalta myös niin sosiaalityössä kuin nuorisotyössä monella ammattilaisella on kriittinen suhtautuminen toiminnan vaikutusten arviointiin. Järjestöissä tiedon keruun hankaluudet tiedetään ja oikein keinon löytäminen juuri omalle kohderyhmälle on yksi Artsin keskeisiä teemoja. Jäin myös pohdiskelemaan, mitkä digitalisaation mahdollisuudet nyt tai tulevaisuudessa olisivat.

Osittain edelliseen liittyen pohdiskeltiin myös tutkimuksen etiikkaa ja tiedon keräämisen haasteita. Mitä tehdä, jos asiakkaat eivät halua vastata tai heitä ei saada kiinni? Toisaalta tutkimuksissa pyritään usein rakentamaan koeasetelma, jossa toiselle ryhmälle järjestetään jotain toimintaa ja toiselle taas ei. Joskus voi käydä niin, että kaikki toimintaan halukkaat eivät mahdu mukaan ja joutuvat kontrolliryhmään. Tällöin eriarvoinen suhtautuminen nostaa esiin eittämättä syvällisiä eettisiä pohdintoja.

Järjestöjen kohdalla ei ehkä ole tällaisia haasteita, koska STEA ei koeasetelmia vaadi, vaan kohderyhmien oma näkemys riittää todentamaan toiminnan vaikutuksia TVS-raportoinnissa. Sen sijaan järjestöille eettinen puoli tulee vastaan, kun pohditaan, missä määrin matalan kynnyksen toiminnassa mukana olevia voidaan rasittaa eri tiedonkeruun menetelmillä. Kyse voi olla ihmisistä, jotka ovat joutuneet arvioinnin kohteeksi tuskastuttavan monta kertaan niin terveydenhuollon kuin eri viranomaisten osalta. Ja järjestöt nimenomaan pyrkivät tuomaan tähän vaihtoehdon, usein vertaistukeen perustuvan mahdollisuuden olla oma itsensä.

Yksittäisenä arviointimenetelmänä nostan esiin tarinnallisen arvioinnin. Kuopiossa esimerkkinä oli HAMK:n Eeva Sinisalo-Juhan esitys nuorisotyön arvioinnista. Siinä nuoria osallistettiin arviointiin kannustamalla heitä kertomaan oma tarinansa siitä, mikä juuri heille on ollut merkityksellistä nuorisotyössä. Myös nuorisotyöntekijät sitoutettiin prosessiin ja he täydensivät nuoren tarinaa tämän taustatiedoilla. Lisää koko arviointiprosessista voi lukea ohjelmakirjan sivulta 32: http://www.uef.fi/documents/1529015/1538329/VT_ohjelmakirja_2018/618e6447-be05-466a-8783-9d10e8459f3a Tarinallisesta arvioinnista onkin tekeillä käsikirja, jonka lupailtiin valmistuvan vuoden 2019 aikana.

Tarinnallinen arviointi vaatii kuitenkin aikaa ja perehtymistä, eikä suoraan sovi kaikille järjestöille. Sen sijaan se voi toimia esim. hankkeissa, jossa kohderyhmä on pieni ja sen kanssa tehdään tiiviistä vuorovaikutustyötä. Tällä metodilla voidaan saada syvällisempää laadullista tietoa toiminnan hyödyistä ja toimivista mekanismeista. Tällaisen tiedon viestintä on myös mielekkäämpää ja lukijoita kiinnostavampaa kuin pelkkien numeroiden luettelu.

Lopuksi vielä linkki Vaikuttavuuden talon nettisivuille, josta löytyvät mm. plenary-esitelmät ja monipuolisten päivien ohjelmakirja: http://www.uef.fi/fi/web/uef-vaikuttavuuden-talo/ohjelma

Kimmo Terävä
Tutkija, työelämän kehittäjä
ARTSI-toiminta