6. Tiedon analysointi ja hyödyntäminen

Viimeisessä osassa keskitytään kerätyn tiedon kokoamiseen ja analysointiin sekä arviointitiedon hyödyntämiseen järjestön toiminnan kehittämisessä.

Miten analysoin kerättyä palautetta?

Arviointitiedon analysoinnilla tarkoitetaan eri aineistojen (esim. lomakevastausten, haastatteluiden tai havaintojen) aineistojen systemaattista läpikäymistä, tulosten yhteen vetämistä sekä johtopäätösten tekemistä niiden perusteella. Analysoidessa kuvataan minkälaista palaute on pääpiirteissään ollut, pohditaan miksi palaute on sellaista kuin on ja mitä saatu palaute merkitsee toiminnan kehittämisen kannalta.

Palautteesta tehty kooste on syytä käydä vähintään kerran vuodessa läpi kootusti itsearviointipalaverissa. Toisaalta palautetta, jota kerätään esim. luonteeltaan toistuvista tapahtumista, on syytä käydä myös erikseen läpi suhteellisen pian tapahtuman päättymisen jälkeen ja tehdä pika-analyysi sekä mahdolliset korjaavat toimenpiteet.

Numeerisen aineiston analysointi

Jos palaute on kerätty paperisella lomakkeella, tiedot täytyy syöttää ensin esimerkiksi Excel-tiedostoon, jossa on mahdollista laskea numeerisista arvoista keskiarvoja tai esittää niitä jakaumina. Sähköisistä kyselytyökaluista saa ajettua ulos valmiin yhteenvedon tuloksista. Kyselylomakkeen valinta, monivalinta ja väittämä -tyyppiset kysymyspatteristot raportoidaan yleensä numeerisesti. Vastaukset kysymyksiin, joissa on annettu vastausvaihtoehdot asteikkona (täysin samaa mieltä, jokseenkin samaa mieltä jne.) on hyvä esittää kuvioina, jolloin tuloksista saa käsityksen yhdellä vilkaisulla. Myös sähköiset kyselytyökalut antavat raporteissaan valmiita kuvioita.

Yksi tyypillinen tapa esittää asteikkokysymyksiin perustuvaa aineistoa on keskiarvot. Kyselytulokset voi esittää keskiarvojen lisäksi myös esimerkiksi suorina jakaumina. Suora jakauma kertoo, kuinka suuri osa vastaajista antoi väittämälle minkäkin arvon. Voit käyttää vastaajien määrää sellaisenaan tai muuntaa sen prosenttiosuudeksi. Suora jakauma antaa enemmän tietoa kuin keskiarvo, mutta on toisaalta sen vuoksi myös vaikeammin hahmotettavissa. Kun vastaukset esitetään suorina jakaumina, nähdään myös paljonko vastaajien mielipiteissä on hajontaa.

Pienten aineistojen ollessa kyseessä on kuitenkin hyvä muistaa 30 vastaajan nyrkkisääntö: sitä pienemmistä aineistoista ei ole tarkoituksenmukaista esittää enää osuuksia prosentteina. Tällöin tulee puhua yksinkertaisesti lukumääristä: ”12 vastaajaa 18:sta oli sitä mieltä että…” Hahmottamista saattaa helpottaa myös osuuksien ilmoittaminen murtolukuina silloin kun se on mahdollista. Esim. ”Kolme neljäsosaa vastaajista piti toimintaa erittäin tärkeänä”.

Jos käytät asteikkokysymyksessä ’en osaa sanoa’ -vaihtoehtoa, muista ettet ota tätä vaihtoehtoa mukaan, kun lasket keskiarvoja. Nämä vastaukset on raportoitava erikseen. Kuitenkin jos en osaa sanoa -vastauksia on huomattava määrä, on tämäkin tärkeä arviointihavainto, ja se on hyvä tuoda esiin tulosten yhteydessä.

Laadullisen aineiston analysointi

Laadullista aineistoa kertyy kyselylomakkeiden avovastauksista, haastatteluista, työpajojen ja havainnoinnin muistiinpanoista ja ylös kirjatusta suullisesta palautteesta. Kyselytuloksissa osa avovastauksista täydentää ja tarkentaa numeerisista vastauksista saatua kuvaa. Osassa taas tulee kokonaan uutta informaatiota, kehittämisideoita ja kannanottoja.

Jos aineisto on pieni, voi analyysissa käyttää maalaisjärkeä. Parilla lukukerralla huomaa, mitkä seikat toistuvat vastauksissa, nämä on erityisesti syytä ottaa huomioon. Jos taas aineisto on suurempi tai analyysin tekeminen tuntuu monimutkaiselta, kannattaa asiaa lähestyä ensimmäisillä kerroilla systemaattisemmin. Luokittelu on tyypillisin tapa analysoida laadullista aineistoa.

Suhteuta esiin nousseet havainnot koko aineistoon. Esimerkiksi jos valtaosa vastaajista on tyytyväisiä toimintaan, ei tällöin kannata välttämättä lähteä tekemään korjaavia toimenpiteitä muutaman negatiivisen palautteen perusteella. Toistuvat vastaukset eivät sinällään vielä ole arvioinnin tulos ilman että ne tulkitaan osana järjestön tavoitteiden mukaista toimintaa ja toimintaympäristöä. Vastaajat saattavat hahmottaa järjestön toiminnan eri tavoin kuin toiminnan toteuttajat ja toivoa jotain, mikä ei ole järjestön tavoitteiden mukaista tai minkä toteuttamiseen järjestöllä ei ole edellytyksiä tai resursseja.

Tuloksia esitettäessä ja raportoitaessa mieti tarkkaan, jos käytät suoria lainauksia vastauksista. Analysoijan vastuulla on suodattaa aineisto, kuulija voi ymmärtää väärin kontekstistaan irrotetun sitaatin. Joskus sitaatti kertoo enemmän kuin tehty analyysi – käytä sitaatteja kuitenkin säästeliäästi.

Tulosten esittämisen yhteydessä on tärkeää myös mainita miten tietoa kerätty, kuinka monelle esim. kyselylomake on lähetetty, ja kuinka paljon vastauksia on saatu. Syvällisempiä ohjeita numeerisen ja laadullisen arviointitiedon analysointiin ja raportointiin eri tilanteissa löytyy tästä liitteestä (linkki)

Arviointitiedon hyödyntäminen järjestössä

Monesti arviointiprosessin ajatellaan päättyvän siihen, kun tieto on raportoitu eteenpäin esimerkiksi järjestön hallitukselle tai rahoittajalle. Tämä ei kuitenkaan pidä paikkaansa. Arvioinnin tarkoituksena on ennen kaikkea se, että arviointitietoa ja kerättyä palautetta hyödynnetään järjestön toiminnan kehittämisessä.

Jotta arvioinnissa esiin nousseita seikkoja kyettäisiin hyödyntämään mahdollisimman tehokkaasti, täytyy nousseista kehittämiskohteista ensin poimia ne ideat, joita halutaan jatkossa lähteä työstämään eteenpäin. Kunkin kehittämiskohteen kohdalla pohditaan, millä keinoin muutosta pyritään samaan aikaiseksi ja mikä on se tavoitetila mihin pyritään ja miten edistymistä seurataan. Kullekin kehittämiskohteelle kannattaa nimetä aikataulu ja vastuuhenkilö.

Jos palautteenkeruu on toteutettu moninäkökulmaisesti ja kattavasti sekä määrälliset seurantatieto-indikaattorit kuten kävijämäärät jne. on asianmukaisesti kerätty, järjestön toiminnasta saadaan kattava kuva. Nämä toiminnan määristä ja laadusta kertovat huomiot ovat suoraan hyödynnettävissä monella tavalla:

  • Tiedolla johtaminen: Järjestön johto tai toiminnasta vastaava työntekijä luonnollisesti reagoi arvioinnin tuloksiin tarpeen vaatimalla tavalla –  toimintaa linjataan ja uutta kehitetään tarpeenmukaisin liikkein ja teoin.
  • Määrälliset seurantatiedot kuvaavat toiminnan volyymiä ja vuosittain kerättynä niistä saa tietoa mahdollisesta muutoksesta toiminnan laajuudessa. Tästä kaikesta on hyötyä toiminnan resurssoinnissa ja budjetoinnissa. Jos toimintaa halutaan esim. laajentaa kasvaneiden osallistujamäärien myötä, vuosittain kerätyn seurantatiedon avulla on mahdollista esittää perusteita rahoitushakemukseen.
  • Viestinnän kehittäminen: Viestinnän sisältöön ja painotuksiin kannattaa kiinnittää huomiota erityisesti toiminnan muuttuessa. Viestinnän kohderyhmät voivat myös muuttua. Arvioinnin avulla voi myös nousta esiin tarve kehittää jotakin viestinnän osa-aluetta.
  • Henkilöstön ja vapaaehtoisten osaamisen kehittäminen, työnjako, resursointi sekä erityisesti vapaaehtoisten kohdalla järjestön tarjoama tuki ovat myös asioita, joita arviointitiedon pohjalta pystytään viemään oikeaan suuntaan.
  • Arviointituloksia raportoidaan toiminnan rahoittajalle, hallitukselle sekä mahdollisille ohjaus-, kehittämis- ja johtoryhmille. Arvioinnin tuloksia hyödynnetään myös toimintakertomuksissa ja -suunnitelmissa.
  • Yhteistyökumppaneille kannattaa viestiä järjestön toiminnan tuloksellisuudesta. Arvioinnin tuloksena voi nousta esiin yhteistyötä koskevia kehittämisideoita tai tarve uusien kumppanuuksien luomiseksi.

Arviointitiedon hyödyntämistyökalu

Arviointitiedon hyödyntämistyökalua voi käyttää (itse)arvioinnista ja kerätystä palautteesta esiin nousseiden kehittämiskohteiden työstämiseen. Tiedot voi kirjata ylös taulukkoon esim. yhdessä keskustellen esim. kehittämispäivän tai tiimipalaverin yhteydessä, jolloin sovittuihin asioihin voi helposti palata ja niiden edistymistä seurata.

ARTSI arviointitiedon hyödyntämistyökalu

Seurantamatriisi

Seurantamatriisiin kirjataan kunkin osatavoitteen alle konkreettiset toimenpiteet, joiden etenemistä arvioidaan. Jokaiselle toimenpiteelle asetetaan seurantaindikaattori sekä tavoitetaso, joka tulee olla saavutettu projektin loppuun mennessä, tai jatkuvassa toiminnassa esim. vuoden loppuun mennessä. Taulukkoa päivitetään tasaisin väliajoin.

Artsi Seurantamatriisi

Tehtävä 6: Arviointitulosten kokoaminen ja hyödyntäminen kehittämistyössä

Analysoi ja kokoa eri näkökulmista keräämääsi palautetta ja itsearviointitietoa koosteeksi, PP-esitykseksi tai kirjalliseksi raportiksi. Muista esittää monipuolisesti numeerisia tietoja ja tunnuslukuja , yhteen koottua laadullista palautetta sekä tehdä niistä tulkintoja ja johtopäätöksiä. Kerro myös mihin tulokset perustuvat, eli millä tavoilla tietoa on kerätty.

Pohdi myös järjestön toiminnan keskeisiä kehittämiskohtia arviointitiedon hyödyntämistyökalun avulla, sekä kirjaa kehittämisideoille aikataulu ja vastuuhenkilö.