Miten arvioimme psykososiaalisten menetelmien vaikuttavuutta?
Olemme arvioineet lapsille, nuorille ja perheille suunnattujen psykososiaalisten menetelmien vaikuttavuutta jo yli 10 vuoden ajan. Kaikki arviomme perustuvat tutkimuksiin ja tieteelliseen arviointiprosessiin.

Menetelmien arviointi

Arvioimme lapsille, nuorille ja perheille suunnattujen psykososiaalisten menetelmien vaikuttavuutta tutkimusten perusteella. Psykososiaalisella menetelmällä tarkoitamme mielenterveyttä edistäviä, varhaisen vaiheen hoitoja (erityisesti psykososiaalisia interventioita), toimintamalleja ja ohjelmia.

Menetelmäarviot perustuvat menetelmästä tehtyjen tutkimusten ja erityisesti vaikuttavuustutkimusten luotettavuuden arviointiin, mutta myös menetelmän kuvauksen ja käyttöönoton tuen arviointiin.

Menetelmän kuvauksen avulla menetelmä voidaan todentaa tutkimuksissa samaksi menetelmäksi, jota levitetään käyttöön. Käyttöönoton tuki puolestaan tukee vaikuttavan menetelmän juurtumista organisaatioihin.

Arviointiprosessissa huomioidaan lisäksi menetelmän turvallisuus. Jos tutkimuskirjallisuus antaa viitteitä menetelmän haitallisuudesta, niin menetelmä voi saada arvion: kielteisiä vaikutuksia.

Julkaisemme menetelmäarviot systemaattisina kirjallisuuskatsauksina. Ennen vuotta 2022 arviot on julkaistu suppeina katsauksina.

Itlan Kasvun tuessa arvioitavat psykososiaaliset menetelmät

Mukaanottokriteerit

Psykososiaalisen menetelmän tulee täyttää tietyt kriteerit ennen kuin se otetaan mukaan Itlan Kasvun tuen arviointiin. Menetelmällä tulisi olla…

Tavoite

Menetelmä a) edistää lasten tai nuorten mielenterveyttä ja psykososiaalista hyvinvointia tai b) ehkäisee ja hoitaa varhaisessa vaiheessa suoraan tai välillisesti lasten ja nuorten mielenterveysongelmia.


Rajattu kohderyhmä

Menetelmän kohderyhmä on rajattu alle 23-vuotiaisiin lapsiin, nuoriin sekä heidän vanhempiinsa ja huoltajiinsa. Menetelmää toteutetaan sosiaali- ja terveydenhuollon palveluissa, varhaiskasvatuksessa ja kouluissa sekä kolmannen sektorin palveluissa.


Tieteellinen teoriaperusta

Menetelmän vaikutusmekanismit perustuvat yhteen tai useampaan ihmisen käyttäytymistä tai toimintaa selittävään yleisesti hyväksyttyyn teoriaan tai malliin.


Koulutus

Menetelmään on saatavilla koulutusta Suomessa tai sitä voidaan tarvittaessa järjestää. Koulutus ja koulutusmateriaalit ovat saatavilla suomeksi, ruotsiksi tai englanniksi.


Eettinen arvopohja ja eettisten periaatteiden noudattaminen

Tämä pitää sisällään asiakaslähtöisyyden, osallisuuden, voimaannuttavuuden ja vuorovaikutuksellisuuden.


Arvioitavaksi ei oteta diagnostisia arviointimenetelmiä tai mittareita eikä toimintatapoja ja työotteita. Lisäksi kestoltaan rajoittamattomat, hoidolliset, interventiot eivät kuulu arviointimme piiriin.

Arvioinnin tasot

Menetelmäpankissa on vielä toistaiseksi kahdella eri asteikolla arvioituja menetelmiä. Vuodesta 2022 lähtien vaikuttavuutta on arvioitu asteikolla 1–5 ja sitä ennen asteikolla 0–3. Molemmat asteikot ovat kasaantuvia eli edellisen tason kriteerit täyttyvät myös seuraavassa.

Kunkin menetelmän arvio perustuu aina arviointihetkeen ja se voi muuttua, jos ja kun menetelmää tutkitaan lisää.

Arviointiin pääsy on jo meriitti itsessään. Katsomme silloin, että menetelmällä on tieteellinen teoriaperusta ja se noudattaa eettisiä periaatteita.

Arviointiasteikko, joka on avattu alla olevassa tekstissä.

Tutustu arvioinnin tasoihin

Kuvattu ja teoreettisesti perusteltu menetelmä

Sisältää arviot:

  • 1/5 Kuvattu ja teoreettisesti perusteltu: Menetelmä on kuvattu ja teoreettisesti perusteltu. Menetelmästä on tehty enintään vertaisarvioimatonta tutkimusta. Vaikuttavuudesta ei vielä ole tehty tutkimusta.
  • 2/5 Jonkin verran tutkimusta: Menetelmä on kuvattu ja teoreettisesti perusteltu. Siitä on tehty vertaisarvioitua tutkimusta. Vaikuttavuudesta ei ole vielä tehty tutkimusta tai vaikuttavuusnäyttö ei ole riittävää.

Sekä ennen vuotta 2022 tehdyt arviot:

  • 0/3 Ei riittävää näyttöä

Lupaava menetelmä

Sisältää arviot:

  • 3/5 Tuloksellisuus- tai vaikuttavuustutkimusta: Menetelmän vaikuttavuus on lupaavaa. Se on kuvattu ja teoreettisesti perusteltu. Menetelmästä ja sen tuloksellisuudesta tai vaikuttavuudesta on tehty vähintään yksi tutkimus, tai menetelmä on arvioitu pohjoismaisessa tai vakiintuneessa kansainvälisessä tietokannassa. Vaikuttavuustutkimusten laatu on vähintään tyydyttävää.

Sekä ennen vuotta 2022 tehdyt arviot:

  • 1/3 Vähäinen dokumentoitu näyttö
  • 2/3 Kohtalainen dokumentoitu näyttö

Vaikuttava menetelmä

Sisältää arviot:

  • 4/5 Hyvää vaikuttavuustutkimusta: Menetelmä on kuvattu ja teoreettisesti perusteltu. Menetelmästä ja sen vaikuttavuudesta on tehty vähintään yksi vaikuttavuustutkimus. Arvioitavaa menetelmää verrataan luotettavaan vertailuryhmään. Tutkimusten laatu on vähintään tyydyttävää.
  • 5/5 Vahvaa vaikuttavuustutkimusta: Menetelmä on kuvattu ja teoreettisesti perusteltu. Menetelmästä ja sen vaikuttavuudesta on tehty vähintään kaksi vaikuttavuustutkimusta, joista vähintään toinen on menetelmän kehittäjästä riippumaton. Vaihtoehtoisesti menetelmästä on yksi vaikuttavuustutkimus ja vähintään yksi menetelmän myönteinen näytön arviointi pohjoismaisessa tai vakiintuneessa kansainvälisessä tietokannassa. Tutkimusten laatu on vähintään hyvää. Lisäksi menetelmällä on ylläpitäjä sekä riittävä käyttöönoton tuki ja seuranta.

Sekä ennen vuotta 2022 tehdyt arviot:

  • 3/3 Vahva dokumentoitu näyttö

Arvioinnin vaiheet

Psykososiaalisen menetelmän vaikuttavuuden arviointi vie keskimäärin hieman yli puoli vuotta. Mukana arvioinnissa on Itlan Kasvun tuen asiantuntijoita, Itlan arviointikoulutuksen käyneitä arvioitsijoita sekä tieteellinen toimituskunta, johon kuuluu eri tieteenalojen edustajia Itlan ulkopuolelta.

Kaavio arvioinnin vaiheista, jotka avattu alempana tekstissä.

Tutustu arvioinnin vaiheisiin

1. Tarve menetelmän arvioinnille

Arviointiprosessi alkaa usein siitä, että psykososiaalista menetelmää ylläpitävä organisaatio, menetelmää käyttävä organisaatio (esim. hyvinvointialue) tai muu toimija huomaa, ettei menetelmän vaikuttavuutta ole arvioitu tai se kaipaisi uudelleenarviointia.

Tarve menetelmäarviolle voi myös nousta lapsiin ja nuoriin vaikuttavasta ajankohtaisesta ilmiöstä.


2. Yhteydenotto

Menetelmää ylläpitävä tai käyttävä organisaatio tai muu toimija voi ehdottaa menetelmän arviointia Itlan Kasvun tuen asiantuntijoille. Jo arvioidun menetelmän vaikuttavuutta kannattaa arvioida uudelleen, jos esimerkiksi menetelmästä on julkaistu uutta vaikuttavuustutkimusta.

Ota yhteyttä: kasvuntuki[at]itla.fi


3. Alustava arvio

Kasvun tuen asiantuntijat arvioivat ensin täyttääkö menetelmä mukaanottokriteerit. Menetelmällä tulisi olla:

  • Tavoite: Menetelmä a) edistää lasten tai nuorten mielenterveyttä ja psykososiaalista hyvinvointia tai b) ehkäisee ja hoitaa varhaisessa vaiheessa suoraan tai välillisesti lasten ja nuorten mielenterveysongelmia.
  • Rajattu kohderyhmä: Menetelmän kohderyhmä on rajattu alle 23-vuotiaisiin lapsiin, nuoriin sekä heidän vanhempiinsa ja huoltajiinsa. Menetelmää toteutetaan sosiaali- ja terveydenhuollon palveluissa, varhaiskasvatuksessa ja kouluissa sekä kolmannen sektorin palveluissa.
  • Tieteellinen teoriaperusta: Menetelmän vaikutusmekanismit perustuvat yhteen tai useampaan ihmisen käyttäytymistä tai toimintaa selittävään yleisesti hyväksyttyyn teoriaan tai malliin.
  • Koulutus: Menetelmään on saatavilla koulutusta Suomessa tai sitä voidaan tarvittaessa järjestää. Koulutus ja koulutusmateriaalit ovat saatavilla suomeksi, ruotsiksi tai englanniksi.
  • Eettinen arvopohja ja eettisten periaatteiden noudattaminen:
    • asiakaslähtöisyys
    • osallisuus
    • voimaannuttavuus ja
    • vuorovaikutuksellisuus

Uudelleenarvioitavan menetelmän osalta arvioidaan myös, voiko menetelmäarvio muuttua uuden tutkimuskirjallisuuden valossa.

Emme ota arvioitavaksi diagnostisia arviointimenetelmiä tai mittareita. Lisäksi kestoltaan rajoittamattomat hoidolliset interventiot eivät kuulu arviointimme piiriin.


4. Hyväksyntä

Uusi menetelmä

Kasvun tuen tieteellinen toimituskunta hyväksyy uuden menetelmän vaikuttavuuden arviointiin, kun mukaanottokriteerit täyttyvät. Toimituskunta päättää samalla menetelmien arviointijärjestyksestä, mikäli arvioitavia menetelmiä on samanaikaisesti useita.

Arviointijärjestykseen vaikuttavat:

  • lasten ja nuorten tarpeet
  • ilmiöön ja menetelmään liittyvän poliittisen päätöksen ajankohtaisuus
  • menetelmän käytön laajuus kentällä
  • menetelmän uutuusarvo kohderyhmän ja ilmiön kannalta menetelmävalikon täydentäjänä

Uudelleenarvioitava menetelmä

Kasvun tuen asiantuntijat ottavat menetelmän uudelleen arvioon, mikäli mukaanottokriteerit menetelmästä edelleen täyttyvät. Asiantuntijat päättävät samalla menetelmien arviointijärjestyksestä, mikäli arvioitavia menetelmiä on samanaikaisesti useita.

Arviointijärjestykseen vaikuttaa ensisijaisesti menetelmästä julkaistu uusi vaikuttavuustutkimus.

Toissijaisesti järjestykseen vaikuttavat:

  • lasten ja nuorten tarpeet
  • ilmiöön ja menetelmään liittyvän poliittisen päätöksenteon ajankohtaisuus
  • menetelmän käytön laajuus kentällä

Menetelmän ehdottajalle kerrotaan joko arviointiprosessin käynnistymisestä tai siitä, ettei menetelmää oteta arvioitavaksi.

Jälkimmäisessä tapauksessa annamme myös palautetta.


5. Arviointiprosessi
Arviointiprosessin vaiheet.

Menetelmän vaikuttavuuden arvioinnissa ovat mukana Kasvun tuen arvioinnin asiantuntijat ja Kasvun tuen kouluttamat arvioitsijat. Arviointiprosessin aluksi Kasvun tuen arvioinnin asiantuntijat ja menetelmän ylläpitäjät tapaavat ja aloittavat yhteistyön: tapaamisessa käydään läpi menetelmäpankkia, arviointiprosessia, aikataulua ja arvioitavaa menetelmää.

Tämän jälkeen Kasvun tuen asiantuntijat etsivät riippumattomia arvioitsijoita mukaan arviointiin. Nykykriteerien mukaan arvioitsijoista toinen on väitellyt. Molemmat arvioitsijat ymmärtävät interventiotutkimusta ja he perehtyvät hyvin menetelmään sekä tutkimuskirjallisuuteen.

Kasvun tuen asiantuntijat aloittavat systemaattisen kirjallisuushaun tekemisen arvioitavasta menetelmästä ja etsivät kirjallisuudesta menetelmästä tehtyjä vaikuttavuus-, implementointi- ja kustannusvaikuttavuustutkimuksia. Seuraavaksi arvioitsijat työstävät menetelmäarviota ja systemaattista kirjallisuuskatsausta.

Ennen päivitetyn arvion julkaisemista arvio lähetetään menetelmää ylläpitävälle organisaatiolle, menetelmän toteuttajalle ja vertaisarvioitsijalle, jotka arvioivat arvion laatua. Sen jälkeen Kasvun tuen tieteellisen toimituskunnan puheenjohtaja hyväksyy uuden arvion.


6. Menetelmäarvion julkaisu

Kun menetelmä on arvioitu, julkaisemme sen lopuksi systemaattisena kirjallisuuskatsauksena Kasvun tuki -aikakauslehdessä ja menetelmäpankissa Itlan verkkosivuilla.


Ota yhteyttä

Olethan meihin yhteydessä, jos haluat tietää lisää menetelmien vaikuttavuuden arvioinnista.

Marjo Kurki

Kehitysjohtaja

Director of Development

YOUNG -ohjelma

Kasvun tuki

marjo.kurki@itla.fi

044 271 0797
Marko Merikukka

Tiedeasiantuntija

Tutkimusetiikan tukihenkilö

Science Specialist

Research Integrity Adviser

Kasvun tuki

marko.merikukka@itla.fi

040 647 5565
Heidi Backman.
Heidi Backman

Erityisasiantuntija

Senior Specialist

Kasvun tuki

heidi.backman@itla.fi

050 330 4644