2. Arvioinnin ja tiedonkeruun suunnittelu

Seuraavaksi kerrotaan miten arviointia kannattaa lähteä suunnittelemaan ja aikatauluttamaan. Lisäksi esitellään erilaisia tapoja kerätä tietoa arvioinnin aineistoksi.

Hyvin suunniteltu arviointi on puoliksi tehty

Arvioinnin suunnitteluun kannattaa varata riittävästi aikaa ja resursseja. Järjestön henkilöstön mukaan ottaminen jo arvioinnin suunnitteluvaiheeseen auttaa sitouttamaan henkilöstöä itsearviointiprosessiin. Kun suunnitelma tiedonkeruun menetelmineen on kertaalleen mietitty huolella, siitä on hyötyä useammaksi vuodeksi. Suunnitelmaa on hyvä päivittää aika ajoin, etenkin jos järjestön toiminnassa tapahtuu muutoksia.

Tietoa on hyvä kerätä systemaattisesti pitkin vuotta, mutta sitä saadaan usein myös luontevasti ilman muodollisia palautekanavia osana normaalia toimintaa. Mitä paremmin myös systemaattinen tiedonkeruu (lomakkeet, haastattelut jne.) saadaan yhdistettyä järjestön perustoimintaan, sitä paremmin tietoa saadaan kerätty. Näin se on myös motivoivampaa henkilöstölle ja vapaaehtoisille.

Alla olevassa kuvassa on kuvattu sitä, mitä on syytä ottaa huomioon oman järjestön arviointia suunniteltaessa:

Arvioinnin suunnittelun vaiheet. 1.Arvioinnin suunnittelu: Mitä toiminnan tavoitteen toteutumiseen ja oman toiminnan kehittämiseen liittyviä tiedontarpeita järjestössä on? Mitä tietoja tarvitsemme rahoittajalle raportointia varten? Mitä ovat ne tavoitellut tulokset ja oletetut vaikutukset, joiden toteutumista arvioidaan? 2.	Tiedonkeruu: Miten ja keneltä arviointitietoa kerätään? Miten tiedonkeruu ajoitetaan? Jatkuvasti vai otostyyppisesti? Kuinka paljon resursseja on käytössä arviointia varten? Kaikkea ei tarvitse arvioida. 3.	Analysointi: Laadullisen ja numeerisen tiedon analysointitavat 4.	Arviointitiedon hyödyntäminen: Miten analysoitua tietoa kannattaa hyödyntää? Arviointitiedon suhteuttaminen toiminnan tavoitteisiin, toimintaan ja käytössä oleviin resursseihin.

Kuvio 3. Arvioinnin suunnittelun vaiheet.

Kaikkea ei tarvitse tai pystykään arvioimaan. Arviointisuunnitelmaa laadittaessa on tärkeä pohtia ja päättää, mitä asioita arvioidaan. Arviointi ei ole itsetarkoitus.  Järjestössä tulee pohtia, mitkä ovat ne järjestön tai projektin toiminnan kannalta oleellisimmat tunnusluvut ja oletetut vaikutukset, joiden toteutumista ryhdytään seuraamaan.

Yleensä ei ole tarpeen kerätä arviointitietoa jatkuvasti ja kaikista toiminnoista. Tällainen tiedonkeruu tuottaisi analysoitavaa tietoa niin paljon, ettei pienillä järjestöillä useinkaan ole resursseja käsitellä sitä. Sen sijaan on syytä tarkastella keneltä, minkälaisella otoksella ja mihin aikaan kustakin toiminnosta kerätään tietoa. Arvioinnin kokonaisuus tulee suunnitella mielekkään kokoiseksi suhteessa arviointiin käytettävissä oleviin resursseihin.

Jotta toiminnan toteuttaja saa kattavasti tietoa oman toiminnan kehittämiseksi sekä rahoittajalle raportointiin, palautetta tulee kysyä monipuolisesti ja keskeisiltä tahoilta (kohderyhmät, vapaaehtoiset, työntekijät ja sidosryhmät/yhteistyökumppanit). Arviointisuunnitelmaa ja palautteenkeruun menetelmiä suunniteltaessa tulee pohtia myös sitä, missä muodossa valitut tiedonkeruun tavat tuottavat tuloksia: esimerkiksi kyselyissä olevat avokysymykset antavat usein yksityiskohtaisempaa tietoa käsiteltävästä aiheesta, mutta samalla vaativat enemmän työtä ja resursseja tulosten analysointivaiheessa kuin numeeriset kysymykset.  Arviointia suunniteltaessa tulee myös suunnitella huolellisesti palautteen hyödyntäminen ja jatkotyöstäminen.

Arvioinnin suunnittelutyökalu

Suunnittelutyökaluun kirjataan keskeiset arviointiin liittyvä kysymykset (mm. mitä tietoa kerätään, keneltä kerätään, miten kerätään ja koska kerätään). Näin järjestö saa koottua kaiken arviointiin liittyvän yhteen dokumenttiin ja arvioinnista tulee suunnitelmallisempaa.

ARTSI Arvioinnin suunnittelutyökalu

Arvioinnin vuosikello

Vuosikello on yksinkertainen toiminnan jäsentämisen työkalu. Sen avulla voi suunnitella ja aikatauluttaa järjestön toimintaa niin että arviointiin, seurantaan ja palautteen keräämiseen liittyvät toimenpiteet palvelevat mahdollisimman hyvin järjestön suunnittelu- ja raportointisyklejä. Itsearviointi tuottaa keskeiset tiedot järjestön suunnittelu- ja raportointiasiakirjoihin, joten oikein rytmitettynä ne muodostavat johdonmukaisen kokonaisuuden ja säästävät aikaa ja vaivaa. Vuosikellon toimintoja voi siirtää, nimetä uudelleen ja kopioida oman järjestön toimintaan sopivaksi.

ARTSI Arvioinnin vuosikello

Miten arviointitietoa voi kerätä?

Arviointitiedon keräämiseen voidaan käyttää monenlaisia lähestymistapoja ja menetelmiä.  Toiminnan määrää kuvaavien seurantietojen (esim. tapahtumien määrä, osallistujat jne.) avulla saadaan kuva oman toiminnan laajuudesta. Tämä on hyvä perusta arvioinnille, mutta nykyään yhtä tärkeäksi on noussut laadullinen seurantatieto. Sen avulla saadaan selville toiminnan vaikuttavuutta. Siis mitä hyöytä toiminnasta on osallistujille.

Määrällinen seurantatieto

Toiminnan kannalta oleellisten määrällisten indikaattorien, kuten asiakkaiden ja vapaaehtoisten määrän, asiakkaiden ikä- ja sukupuolijakauman, aukiolotuntien jne. kirjaaminen ylös on tärkeää toiminnan volyymin seurannan kannalta. Määrällistä seurantatietoa on hyvä kerätä jatkuvasti pitkin vuotta. Toiminnan luonne määrittelee sen, mitä tunnuslukuja on syytä seurata. Tunnuslukuja tulee kuitenkin pohtia myös sen kannalta, mitä rahoittaja haluaa tietää.

Seurantatietojen kerääminen voidaan yksinkertaisimmillaan toteuttaa esim. tukkimiehenkirjanpidolla (mm. ryhmässä kävijöiden lkm). Mikäli paperille kirjaamista käytetään, tiedot on kuitenkin hyvä viedä mahdollisimman pian sähköiseen järjestelmään (esim. Excel-taulukko), jolloin ajantasainen tilanne näkyy toiminnan toteuttajalle jatkuvasti. Käytössä voi olla myös älypuhelimella täytettävä sähköinen lomake, johon lukumäärät voi merkitä suoraan paikan päällä.

Joskus esim. anonyymissä matalan kynnyksen kohtaamispaikkatoiminnassa voi olla haastavaa kerätä yksittäisten henkilöiden osallistujatietoja. Tällöin voi pari kertaa vuodessa havainnoida kävijämääriä muutaman viikon mittaisen otosjakson ajan, ja raportoida kävijämääriä arvioina.

 

Tilastointityökalu

Tilastointityökalu on yksinkertainen esimerkki siitä, miten järjestöön tulleita puheluita, sähköposteja, tapaamisia jne voidaan tilastoida. Sen avulla voidaan kerätä STEA:n TVS-lomakkeessa kysyttyjä indikaattoreita. Lisäksi työkalu sisältää esimerkkejä siitä, kuinka tilastoyhteenvedot voidaan esittää piirakkakuvion muodossa.

ARTSI Tilastointityökalu

Laadullinen seurantatieto

Kyselylomakkeet

Kysely voidaan toteuttaa paperisena tai sähköisenä lomakekyselynä. Paperista lomaketta voidaan hyödyntää kerätessä palautetta esim. jonkin tilaisuuden päätteeksi tai kun vastaajaryhmällä ei ole mahdollisuutta vastata sähköisiin kyselyihin. Sähköiset kyselyohjelmat puolestaan mahdollistavat laajankin tiedonkeruun vähäisemmillä resursseilla. Kun lomakepohja on kertaalleen luotu kyselyjärjestelmään, voi sitä hyödyntää jatkossa vastaavaan tiedonkeruuseen. Sähköiset kyselyohjelmat tekevät myös automaattisesti koonnin vastauksista, jolloin esimerkiksi vastaajien numeeriset arviot saa suoraan tuotua ulos järjestelmästä esimerkiksi keskiarvoina tai suorina jakaumina. Erikseen toteutettavien palautekyselyiden lisäksi kannattaa muistaa hyödyntää arvioinnissa myös mahdolliset toiminnassa kerättävät alkukartoitus tai ilmoittautumislomakkeet.

Pohdittavaa kyselylomaketta laadittaessa:

  • Ei liian pitkää lomaketta. Mikäli kyselylomake on liian pitkä, vastaajan ote voi herpaantua kesken lomakkeen tai hän voi jättää kokonaan vastaamatta. Usein vastaaja panostaa enemmän vastaustensa sisältöön, kun lomake on sopivan mittainen. Siksi onkin tärkeää punnita tarkkaan, millä kysymyksillä saadaan tarpeellinen tieto ja mitkä kysymykset ovat kenties turhia.
  • Taustakysymykset. Vastaajien taustaa selvittävien kysymysten määrään kannattaa kiinnittää huomiota. Onko esim. vastaajan sukupuolella, iällä tai asuinpaikkakunnalla merkitystä tuloksia tarkasteltaessa? Joissain toiminnoissa voi olla tarpeen tarkastella esim. miesten ja naisten välisiä eroja, kun taas toisessa toiminnassa sukupuolella ei ole merkitystä annetun palautteen kannalta. Älä siis väsytä vastaajaa turhilla taustakysymyksillä, jos ne eivät ole olennaisia!
  • Yhdistele numeerisia ja avokysymyksiä. Yleensä tasapainoinen kyselylomake sisältää sekä avokysymyksiä että numeerisia osioita. Tulosten vertailu ja pitkän ajanjakson muutosten hahmottaminen onnistuu numeerisia osioita tarkastelemalla. Avokysymykset antavat vastaajille mahdollisuuden antaa tarkempaa tietoa ja lisävalaistusta numeerisiin arvioihin, sekä kertoa asioita, joita ei ole osattu edes kysyä.
  • Vastausasteikon valinta. Lomakkeisiin voi rakentaa kysymyspatteristoja, joissa pyydetään vastaajaa ottamaan kantaa esimerkiksi esitettyihin väittämiin. Yksinkertaisimmillaan väittämiin voi vastata kyllä/ei-asteikolla. Asteikkoina yleisimmin käytetään joko asteikkoa 1-4 tai 1-5, jolloin 1=erittäin huonosti ja 5=erittäin hyvin. Neliportaisen asteikon etu on, että asteikkoa käytettäessä vastaajan tulee ottaa kantaa joko väittämän puolesta tai vastaan.
  • En osaa sanoa -vaihtoehto. Lomaketta suunniteltaessa kannattaa tarkoin pohtia, käyttääkö asteikossa ”en osaa sanoa” -kohtaa. En osaa sanoa -vaihtoehto on eri asia kuin arvio ”siltä väliltä”, joten mikäli en osaa sanoa -vaihtoehtoa käytetään, tulee se sijoittaa erilleen muusta numeerisesta asteikoista, jottei se vääristä aineiston analysointivaiheessa vastauksista laskettavaa keskiarvoa.
  • Testaa aina kyselylomaketta ensin sen kohderyhmään kuuluvien henkilöiden kanssa. Testaamalla saat kullan arvoista palautetta lomakkeen ymmärrettävyydestä, selkeydestä ja houkuttelevuudesta kohderyhmän näkökulmasta.

Haastattelut

Haastatteluja voi tehdä joko kasvokkain yksilö- tai ryhmähaastatteluina tai vaihtoehtoisesti puhelimitse. Tiedonkeruun menetelmänä haastattelut tarjoavat mahdollisuuden tietyn asian syvällisempään tarkasteluun tarkentavien kysymysten kautta. Haastatteluita tehdessä tulee olla haastattelurunko kysymyksineen valmiiksi pohdittuna.

Haastattelutilanteet voidaan joko äänittää tai kirjata keskeisimmät asiat ylös haastattelun aikana. Järjestöjen itsearviointia varten muistiinpanojen kirjaaminen on usein riittävä ja samalla myös aikaa säästävä tapa. Mahdollisuuksien mukaan esimerkiksi ryhmähaastatteluissa voi haastattelun vetäjän lisäksi olla mukana kirjuri, joka kirjaa ylös esille tulleet asiat.

  • Yksilöhaastattelussa haastatellaan yhtä henkilö kerrallaan. Haastattelurunko voi koostua valmiiksi valituista teemoista, joista keskustellaan vapaasti, tai haastattelu voi olla strukturoidumpi, jolloin samat kysymykset kysytään kaikilta haastateltavilta. Haastatteluun voi myös yhdistää esim. muutamia väittämäpatteristoja, jolloin saadaan samalla kertaa kerättyä numeerista tietoa.
  • Ryhmähaastatteluissa saadaan samalla kertaa palaute suuremmalta joukolta. Ryhmähaastatteluissa haastattelijalla on tärkeä rooli sen varmistamisessa, että kaikki halukkaat pääsevät sanomaan oman mielipiteensä eikä kukaan jää tilanteessa paitsioon. Kaikilta ei kuitenkaan välttämättä tarvita vastausta joka kysymykseen. Kun samasta asiasta haastatellaan yhtä aikaa useampaa vastaajaa, käy usein niin, että vastaukset täydentävät toisiaan ja mukaan saadaan eri näkökulmia.

Työpajat ja palaverit

Tietoa ja palautetta voidaan kerätä myös järjestämällä arviointityöpaja, jossa osallistujat yhteisesti keskustellen käyvät läpi toiminnan vahvuuksia ja kehittämistarpeita. Työpajaa varten tulee olla runko, jonka pohjalta tilaisuutta viedään eteenpäin. Työskentelyä varten on hyvä varata tarpeeksi aikaa, yleisesti ottaen noin 2-4 tuntia riittää asioiden riittävän syvälliseen käsittelyyn. Työpajatyöskentelyä edesauttaa, mikäli on jo jotain arviointihavaintoja, joiden pohjalta keskustelua lähdetään käymään. Palautetta voidaan kerätä myös toimintaan muutenkin kuuluvissa palavereissa ja kokouksissa, joissa usein keskustellaan toiminnan onnistumisista sekä mahdollisista kehittämiskohteista.

Työpajan vetäjän vastuulla on jakaa puheenvuoroja ja vetää tilaisuus siten, että kaikki suunnitellut aihealueet tulee kattavasti käytyä läpi. Työpajassa käydystä keskustelusta kirjataan pääasiat sekä sovitut kehittämiskohteet ja toimenpiteet ylös.

Suullinen palaute

Suullista palautetta voidaan kerätä erikseen kysymällä, mutta suullista palautetta saadaan usein myös spontaanisti kysymättäkin. Suullinen palaute on yhtä arvokasta kuin kirjallinen, mutta jotta sitä pystyy hyödyntämään arvioinnissa, tulee sen olla systemaattisesti dokumentoitua. Suullisen palautteen ylös kirjaamista varten on hyvä olla olemassa esim. yhteinen excel-taulukko, johon kaikki työntekijät pääsevät kirjaamaan saatua palautetta. Suullista palautetta voidaan myös kirjata ylös yhdessä esim. henkilöstön viikkopalaverien yhteydessä.

Suullisen palautteen kirjaamistyökalu

Tähän excel-taulukkopohjaan voi kirjata suullisesti saatua palautetta sekä palautteesta nousevia kehittämistarpeita ja -ideoita. Taulukko on hyvä olla esim. jaetussa kansiossa niin, että kaikki työntekijät pääsevät sitä täyttämään. Voit lisätä ja poistaa sarakkeita tarpeen mukaan.

ARTSI Suullisen palautteen taulukko

Havainnot ja työpäiväkirja

Järjestön kaikesta toiminnasta ja toiminnoista ei ole aina mahdollista kerätä tietoa kyselyiden tai haastatteluiden avulla. Tietoa saadaan jatkuvasti myös havainnoimalla toimintaa. Esimerkiksi ryhmän vetäjä tarkkailee jatkuvasti ryhmän toimintaa, vuorovaikutusta ja ilmapiiriä, ja samalla hän saattaa saada viitteitä osallistujissa tapahtuvista muutoksista tai toiminnan kehittämiskohteista. Havainnoidessa toimintaa tulee kuitenkin varoa tekemästä yleistyksiä pelkästään omien havaintojen pohjalta. On tärkeää muistaa kirjata ylös havainnot, jotta näin saatu tieto saadaan tehtyä näkyväksi. Yksi madollisuus on pitää työpäiväkirjaa, johon säännöllisesti (esim. kerran viikossa) kirjataan ylös keskeiset havainnot ja kehittämisajatukset.

Tiedonkeruussa huomioitavaa:

  • Vastaajan ohjeistus. Hyvä ohjeistus voi edesauttaa vastaamisinnokkuutta, ja on eettisesti oikein kertoa tiedonkeruun tarkoituksesta ja taustoista. On tärkeää myös kertoa selkeästi, että vastaaminen on vapaaehtoista. Kyselylomaketta käytettäessä ohjeistus kerrotaan saatekirjeessä, joka voi olla osa lomaketta tai kokonaan erillinen dokumentti. Haastattelujen osalta on hyvä kertoa tiedonkeruun tarkoituksesta ja taustoista haastattelupyyntöä tehtäessä sekä vielä kerrata asiat itse haastattelun toteutumisajankohtana.
  • Luottamuksellisuus. Kun tiedonkeruussa selvästi kerrotaan tietojen luottamuksellisuudesta, tämä voi lisätä luottamusta ja motivoida vastaamaan. Anonymiteetin tärkeys korostuu kerättävien aineistojen ollessa pieniä. Muista vastuusi tiedonkerääjänä – älä kuitenkaan lupaa liikoja, ellet pysty takaamaan anonymiteettiä. Joissain tapauksissa anonymiteettiä ei kuitenkaan tarvita, ja siitä voi olla jopa haittaa. Esimerkiksi jos keskusjärjestö haluaa kerätä tietoa paikallisyhdistysten yksittäisistä tuen tarpeista paikallisesti, tulee tietää kenestä on kulloinkin kysymys.
  • Yleistettävyys. Arviointitulosten yleistettävyydessä tulee olla tarkkana. Jos vaikkapa muutaman tuhannen jäsenen järjestö teettää jäsenkyselyn, johon vastaa 30 % jäsenistä, vastauksia on määrällisesti paljon. Ne eivät kuitenkaan ole kattava otos jäsenistöstä sillä reilusti yli puolen ääni jäi kuulumattomiin. Vastauksista ei tällöin voida tehdä koko järjestön jäsenkuntaa koskevia yleistyksiä, mutta toisaalta toiminnanjohtaja voi luottaa siihen, että mahdollisuus vaikuttaa on annettu, ja näiden satojen vastausten viesti on vähintäänkin suuntaa-antava. Usein ne, joilla on sanottavaa vastaavat kyselyyn.

 

Tehtävä 2: Tee arviointisuunnitelma

Täytä arvioinnin suunnittelutyökalu hyödyntäen toiminnankuvauslomakkeessa kuvattuja tavoiteltuja tuotoksia, tuloksia ja vaikutuksia (mitä tietoa tarvitaan?). Täytä tämän jälkeen arvioinnin vuosikello sijoittelemalla sinne suunnittelulomakkeeseen täyttämäsi tiedonkeruun tavat. Tarkista vielä, että sekä toiminnankuvauslomake, arviointisuunnitelma että vuosikello ovat kaikki linjassa ja muodostavat loogisen ja kattavan kokonaisuuden. Pohdi myös arviointiin käytettävissä olevia resursseja ja varmista, että arviointisuunnitelma on realistinen ja tarkoituksenmukainen.

Kokemuksia arvioinnin suunnittelusta - Henkilökohtaisten Avustajien Työnantajien Liitto ry

Meille tärkeintä oli ensin kiinnittää huomiota siihen, mitä oikeasti seuraamme ja arvioimme. Jälkeenpäin ajateltuna takkuilevalta tuntuva seuranta ja arviointi ovat varmasti johtuneet suurelta osin siitä, että emme ole oikeastaan tienneet, mitä seuraamme ja arvioimme. ”

Lue ARTSI-blogista, mitä Katja Keto kirjoittaa Heta-liiton kokemuksista arvioinnin kehittämisessä.
Katja Keto, Heta-Liitto: Seuranta ja arviointi tarvitsevat vahvan ytimen