Mitä soveltuvuuden arvioinnilla tarkoitetaan?
Itla arvioi yhteistyössä hyvinvointialueiden, kuntien ja muiden organisaatioiden kanssa lapsille, nuorille ja perheille tarkoitettujen psykososiaalisten menetelmien soveltuvuutta asiakkaille, ammattilaisille ja palveluihin. Arviointi toteutetaan Kuusio-arviointityökalulla.
Itlan Kasvun tuki on toteuttanut vuodesta 2014 alkaen menetelmien vaikuttavuusarvioita, jotka julkaistaan vertaisarvioituina systemaattisina kirjallisuuskatsauksina. Ne kertovat onko menetelmällä tutkimusnäyttöön perustuvaa vaikuttavuutta.
Soveltuvuustieto puolestaan vastaa kysymykseen, miten ja missä olosuhteissa menetelmä toimii käytännössä, ja mitkä tekijät tukevat tai estävät sen juurtumista palveluihin? Tämä on luonteeltaan laadullista, kuvailevaa tietoa, ja se tuotetaan laadullisen tutkimuksen yleisiä periaatteita mukaillen.
Keräämme ja julkaisemme Kasvun tuki -menetelmäpankissa soveltuvuustietoa menetelmistä, joiden vaikuttavuudesta on tutkimusperustaista näyttöä eli menetelmät sijoittuvat vaikuttavuusarviotasoille 4/5 ja 5/5. Soveltuvuustiedolla pyritään kuvaamaan sitä, missä ympäristöissä ja minkälaisilla edellytyksillä menetelmän vaikuttavuus voi realisoitua lapsille, nuorille ja perheille.
Kuusio-arviointityökalu on kehitetty Kansallinen implementoinnin tuki -hankkeessa. Työkalu pohjautuu NIRN:in (National Implementation Research Network) kehittämään The Hexagon: An Exploration Tool -työkaluun (© 2018 NIRN – University of North Carolina at Chapel Hill). Lue lisää Kuusio-arviointityökalusta.
Tiedonkeruun vaiheet:
1. Menetelmäkuvauksen varmistaminen. Ennen soveltuvuusarviointia varmistetaan, että käytössä on laadukas kuvaus arvioitavasta menetelmästä ja että arviointiin osallistuva organisaatio toteuttaa menetelmää kuvauksen mukaisella tavalla.
2. Monialainen ryhmäkeskustelu. Soveltuvuusarviointi toteutetaan Kasvun tuki -asiantuntijan fasilitoimana ryhmäkeskusteluna. Keskusteluun osallistuu menetelmää käyttäviä ammattilaisia, esihenkilöitä, johdon edustajia sekä menetelmien käyttöä koordinoivia asiantuntijoita. Osallistujien monialaisuuden kautta varmistetaan se, että arviointi sisältää riittävästi useita ja toisiaan täydentäviä näkökulmia, eikä perustu yhden ammattilaisen näkemykseen. Arviointitapaamiseen varataan aikaa noin 2 tuntia 30 minuuttia, ja lisäksi tapaamisen valmistelu vaatii organisaation menetelmäosaajilta aikaa yhteensä noin yhden tunnin (30 + 30 minuuttia).
3. Jäsennelty sisältö. Keskustelu etenee Kuusio-arviointityökalun kuuden osa-alueen mukaisesti: vaikuttavuus, tarve, käytettävyys, sopivuus, valmiudet ja käyttöönoton tuki. Jokainen osa-alue sisältää useita arviointikysymyksiä, jotka ohjaavat keskustelua ja varmistavat, että samat teemat käydään läpi jokaisen arvioitavan menetelmän kohdalla samalla tavalla.
Keskustelussa painotetaan menetelmän suunnitelmallista käyttöönottoa eli implementointia: mitkä tekijät tukevat ja mitkä estävät menetelmän juurtumista osaksi palvelua.
Soveltuvuuden arviointikeskustelut tallennetaan tekstinä eli litteroidaan. Lisäksi Kasvun tuki -asiantuntija tekee keskustelun aikana raportin pohjana toimivat muistiinpanot sekä tarkistaa asioita tarvittaessa tekstitallenteesta. Näin varmistetaan, että raporttiin päätyvät havainnot vastaavat sitä, mitä keskustelussa todella sanottiin, eivätkä ne perustu yhden kuuntelijan muistinvaraiseen tulkintaan. Lisäksi raportit lähetetään arviointikeskusteluun osallistuneille tarkistettavaksi ja kommentoitavaksi.
Tämän pohjalta syntyy soveltuvuusraportti, jossa keskustelussa esiin tulleet asiat esitetään Kuusio-arviointityökalun kuuden osa-alueen mukaisesti jäsenneltynä. Menetelmän vaikuttavuutta kuvaava osio hyödyntää joko Kasvun tuen systemaattista kirjallisuuskatsausta tai Kasvun tuen asiantuntijat keräävät vastaavan tiedon muista lähteistä.
Soveltuvuustietoa julkaistaan menetelmäpankissa vaikuttavuustiedon rinnalla. Julkaistava soveltuvuustieto rajataan menetelmiin, joilla on vaikuttavuusnäyttöä eli ne sijoittuvat Kasvun tuki -arviointitasoille 4/5 tai 5/5. Kyse on Suomessa vielä uudenlaisesta arviointitiedosta. Siksi julkaistavan soveltuvuustiedon määrä ja tarkkuus kasvavat sitä mukaa, kun arviointeja tehdään lisää yhteistyössä hyvinvointialueiden ja organisaatioiden kanssa.
Kun soveltuvuusraportteja on kertynyt samasta menetelmästä useammalta hyvinvointialueelta, niitä tarkastellaan rinnakkain. Rinnakkaistarkastelu on keskeinen vaihe ennen soveltuvuustiedon julkaisua menetelmäpankissa.
Menetelmäpankissa julkaistaan menetelmäkohtaisesti kahdenlaista soveltuvuustietoa:
- Alueilla toistuvat tai samansuuntaiset havainnot. Useamman hyvinvointialueen soveltuvuusraporteissa nousevat samansuuntaiset havainnot menetelmän soveltuvuudesta (Kuusio-arviointityökalun kuuden osa-alueen mukaan jäsenneltynä) Tieto julkaistaan, koska ne todennäköisesti kertovat jotain menetelmän yleisemmästä luonteesta yksittäisen alueen ammattilaisten kokemusten sijaan.
- Alueelliset havainnot, joista voi olla hyötyä muille. Lisäksi julkaistaan yksittäisen alueen havaintoja, jos ne todennäköisesti hyödyttävät muita saman menetelmän käyttöönottoa suunnittelevia hyvinvointialueita.
Menetelmäpankissa ei julkaista soveltuvuusraporteista sellaista tietoa, joka on hyvin paikallista, aluesidonnaista tai selittyy kyseisen alueen sisäisillä käytännöillä, eikä siksi ole yleistettävissä. Julkaistava tieto on aina anonymisoitua, eikä julkaisuissa käytetä esimerkkeinä asiakastapauksia.
Menetelmien ylläpitäjillä on ennen julkaisua mahdollisuus lukea menetelmää koskeva soveltuvuustieto ja täydentää sitä omasta näkökulmastaan. Menetelmäpankissa julkaistavasta tiedosta erotellaan selkeästi, mikä tieto perustuu soveltuvuusarviointeihin ja mikä ylläpitäjän täydennykseen.
Soveltuvuuden arviointi tuottaa laadullista, käytäntölähtöistä arviointitietoa. Arvioinnin luotettavuus perustuu läpinäkyvään ja johdonmukaiseen prosessiin, jossa menetelmää tarkastellaan sen todellisissa käyttöympäristöissä.
- Jäsennelty ja toistettava prosessi. Kaikki arvioinnit noudattavat samaa Kuusio-arviointityökalun kuuden osa-alueen rakennetta ja samoja arviointikysymyksiä. Tämä mahdollistaa eri alueiden ja eri menetelmien arviointien keskinäisen vertailun ja tiedon yhdistämisen.
- Monta näkökulmaa samassa keskustelussa. Koska arviointikeskusteluun osallistuu sekä menetelmää käytännössä toteuttavia ammattilaisia että esihenkilöitä, johdon edustajia ja koordinaatiovastuussa olevia asiantuntijoita, tieto ei perustu yksittäisen henkilön kokemukseen vaan useiden ammattilaisten yhteiseen käsittelyyn. Tämä mukailee laadullisen tutkimuksen yleisiä periaatteita, joiden mukaan ilmiötä on syytä tarkastella useasta näkökulmasta.
- Aineiston tarkistettavuus. Keskustelujen litterointi mahdollistaa sen, että muistiinpanoihin perustuva raportti voidaan tarvittaessa tarkistaa alkuperäistä aineistoa vasten. Lisäksi osallistujat tarkistavat valmiin raportin, mikä varmistaa sen, että raportti vastaa heidän näkemystään keskustelussa käsitellyistä asioista. Tämä lisää raportoinnin tarkkuutta ja vähentää yksittäisen kirjoittajan tulkintavirheiden riskiä.
- Ulkopuolinen fasilitointi. Kasvun tuki -asiantuntija johtaa keskustelua. Tämä tukee sitä, että menetelmän kaikki osa-alueet käsitellään järjestelmällisesti, että keskustelu pysyy kriittisenä myös hyvinvointialueen tai kunnan omia käytäntöjä kohtaan ja että kaikkien osallistujien ääni tulee esiin.
- Sidonnaisuus kontekstiin ja siirrettävyyden harkinta. Laadullinen tieto kuvaa aina jotakin tiettyä ympäristöä ja tiettyä hetkeä. Ennen soveltuvuustiedon julkaisua havainnot tarkastellaan rinnakkain usean alueen raporteista, jotta voidaan erottaa toistuvat havainnot yksittäisen alueen sisäisistä erityispiirteistä. Tuloksia ei siis esitetä yleispätevänä totuutena menetelmästä kaikissa ympäristöissä, vaan lukijalle kuvataan, missä laajuudessa ja olosuhteissa havainto on toistunut.
- Menetelmäkuvauksen ja toteutuksen vastaavuuden tarkistus. Arvioinnissa varmistetaan etukäteen, että arvioitava menetelmä vastaa menetelmän alkuperäistä kuvausta. Tämä lisää arvioinnin luotettavuutta, koska soveltuvuushavainnot voidaan silloin yhdistää oikeaan menetelmäversioon.
- Tietosuoja ja anonymisointi. Julkaistava tieto anonymisoidaan, eikä yksittäisiä asiakastapauksia käytetä esimerkkeinä. Tämä suojaa sekä asiakkaita että arviointiin osallistuneita ammattilaisia ja mahdollistaa avoimen raportoinnin.
Menetelmäpankin soveltuvuustieto tukee hyvinvointialueen, kuntien ja muiden organisaatioiden päätöksentekoa erityisesti silloin, kun halutaan selvittää:
- uuden menetelmän soveltuvuutta omalle alueelle, tai
- saada tietoa käytössä olevien menetelmien implementoinnin vahvuuksista ja haasteista tai
- edellytyksiä poistaa jokin menetelmä käytöstä eli de-implementoida.
Soveltuvuustiedon avulla voidaan siis vahvistaa menetelmien juurruttamista myös niillä alueilla, jotka eivät ole itse osallistuneet kyseisen menetelmän soveltuvuusarviointiin.
Soveltuvuustieto tarjoaa jäsennellyn, useasta näkökulmasta ja usealta alueelta kootun kuvauksen siitä, miten menetelmän on arvioitu toimivan käytännössä. Se ei pyri osoittamaan yleistettäviä syy–seuraussuhteita, vaan auttaa hahmottamaan käyttöönoton edellytyksiä ja mahdollisia esteitä. Havaintoja on kuitenkin tärkeää peilata kunkin organisaation omaan tilanteeseen, kuten asiakaskuntaan, henkilöstöresursseihin ja palvelurakenteeseen.
Vaikuttavuus- ja soveltuvuustieto yhdessä antavat kattavan pohjan menetelmiä koskevalle päätöksenteolle ja tiedolla johtamiselle.
Lisätietoa
- Menetelmän soveltuvuutta voidaan parantaa suunnitelmallisella muokkaamisella eli adaptoinnilla.
Ota yhteyttä
Erityisasiantuntija
Senior Specialist
Kasvun tuki
nina.mellenius@itla.fi
Erityisasiantuntija
Senior Specialist
Kasvun tuki
elina.lahteenmaki@itla.fi