Hur bedömer vi metodernas effektivitet?

Tidig insats Metodbanken Hur bedömer vi effektivitet?

Inkluderingskriterier

Experterna från Tidig insats bedömer om metoden uppfyller inkluderingskriterierna. Metoden bör ha:

Syfte: Metoden a) främjar barns och ungas psykiska hälsa och psykosociala välbefinnande eller b) förebygger och behandlar direkt eller indirekt psykiska problem hos barn och unga i ett tidigt skede.

Begränsad målgrupp: Metodens målgrupp är begränsad till barn och unga under 18 år samt deras föräldrar och vårdnadshavare. Metoden används i barns och ungas uppväxt- och utvecklingsmiljö, såsom i skolan, hemma eller i hobbyer.

Vetenskaplig teorigrund

Utbildning: Utbildning i metoden finns tillgänglig i Finland eller kan ordnas vid behov. Utbildningen och utbildningsmaterialet finns på finska, svenska eller engelska.

Efterlevnad av etiska principer

För en metod som omprövas bedöms också om metodbedömningen kan ändras i ljuset av ny forskningslitteratur.

Vi accepterar inte diagnostiska bedömningsmetoder eller indikatorer för bedömning. Dessutom omfattas inte behandlingsinterventioner med obegränsad varaktighet av vår bedömning.

Bedömningskriterier

Metodbanken har fortfarande metoder utvärderade i två olika skalor. Effektiviteten har bedömde på en skala från 1–5 sedan 2022, och dessförinnan på en skala från 0–3. Båda skalorna är kumulativa, det vill säga kriterierna för den föregående nivån uppfylls även i nästa.

Bedömningen av varje metod baseras alltid på bedömningens tidpunkt och kan ändras om och när metoden undersöks ytterligare.

Tillgång till bedömningen är redan en merit i sig. Vi anser då att metoden har en vetenskapsteoretisk grund och följer etiska principer.

Läs mer om bedömningsnivåerna

Beskriven och teoretiskt motiverad metod

Innehåller bedömningar:

1/5 Beskriven och teoretiskt motiverad: Metoden är möjligen effektiv. Den är beskriven och teoretiskt motiverad. Högst en icke-referentgranskad undersökning har gjorts om metoden. Effektiviteten har ännu inte undersökts.

2/5 Lite forskning: Metoden är möjligen effektiv. Den är beskriven och teoretiskt motiverad. Det har gjorts referentgranskad forskning i metoden. Effektiviteten har ännu inte undersökts eller bevisen för effektivitet är inte tillräckliga.

Samt bedömningar gjorda före 2022:

0/3 Inte tillräckligt med forskningsbevis

Lovande metod

Innehåller bedömningar:

3/5 Undersökning av resultat eller effektivitet: Metodens effektivitet är lovande. Den är beskriven och teoretiskt motiverad. Minst en studie har utförts om metoden och dess resultat eller effektivitet, eller metoden har bedömts i en nordisk eller etablerad internationell databas. Kvaliteten på undersökningarna av effekter är minst tillfredsställande.

Samt bedömningar gjorda före 2022:

1/3 Lite dokumenterade forskningsbevis
2/3 Måttligt dokumenterat forskningsbevis

Effektiv metod

Innehåller bedömningar:

4/5 Bra undersökning av effekter: Menetelmä on kuvattu ja teoreettisesti perusteltu. Menetelmästä ja sen vaikuttavuudesta on tehty vähintään yksi vaikuttavuustutkimus. Arvioitavaa menetelmää verrataan luotettavaan vertailuryhmään. Tutkimusten laatu on vähintään tyydyttävää.

5/5 Stark undersökning av effekter: Metoden är effektiv. Den är beskriven och teoretiskt motiverad. Minst två undersökningar av effekter har gjorts om metoden och dess effektivitet, varav minst en är oberoende av metodutvecklaren Alternativt finns det en undersökning av effekter och minst en positiv evidensbedömning av metoden i en nordisk eller etablerad internationell databas. Kvaliteten på undersökningarna är minst god. Dessutom har metoden en upprätthållare samt tillräckligt stöd och uppföljning för ibruktagande.

Samt bedömningar gjorda före 2022:

3/3 Starkt dokumenterat forskningsbevis

Bedömningens steg

Bedömningen av en psykosocial metods effektivitet tar i genomsnitt drygt ett halvår. I bedömningen deltar experter från Itlas Tidig insats, bedömare som har genomgått Itlas bedömningsutbildning samt en vetenskaplig redaktion som består av representanter från olika vetenskapsområden utanför Itla.

Läs mer om bedömningens olika steg

1. Behov av metodbedömning

Bedömningsprocessen börjar ofta med att en organisation som upprätthåller en psykosocial metod, en organisation som använder metoden (t.ex. ett välfärdsområde) eller en annan aktör upptäcker att metodens effektivitet inte har bedömts eller att den skulle behöva omprövas.

Behovet av metodbedömning kan också uppstå på grund av ett aktuellt fenomen som påverkar barn och unga.

2. Kontakt

Den organisation som upprätthåller eller använder metoden eller en annan aktör kan föreslå en bedömning av metoden till Itlas experter från Tidig insats. Effektiviteten av en redan bedömd metod bör bedömas på nytt om till exempel en ny undersökning av effekter har publicerats om metoden.

3. Preliminär bedömning

Experterna från Tidig insats bedömer först om metoden uppfyller inkluderingskriterierna. Metoden bör ha:

Syfte: Metoden a) främjar barns och ungas psykiska hälsa och psykosociala välbefinnande eller b) förebygger och behandlar direkt eller indirekt psykiska problem hos barn och unga i ett tidigt skede.
Begränsad målgrupp: Metodens målgrupp är begränsad till barn och unga under 18 år samt deras föräldrar och vårdnadshavare. Metoden används i barns och ungas uppväxt- och utvecklingsmiljö, såsom i skolan, hemma eller i hobbyer.
Vetenskaplig teorigrund
Utbildning: Utbildning i metoden finns tillgänglig i Finland eller kan ordnas vid behov. Utbildningen och utbildningsmaterialet finns på finska, svenska eller engelska.
Efterlevnad av etiska principer

För en metod som omprövas bedöms också om metodbedömningen kan ändras i ljuset av ny forskningslitteratur.

Vi accepterar inte diagnostiska bedömningsmetoder eller indikatorer för bedömning. Dessutom omfattas inte behandlingsinterventioner med obegränsad varaktighet av vår bedömning.

4. Godkännande

Ny metod

Den vetenskapliga redaktionen för Tidig insats godkänner den nya metoden för bedömning av effektiviteten när inkluderingskriterierna uppfylls. Redaktionen beslutar samtidigt om metodernas bedömningsordning, om det finns flera metoder som ska bedömas samtidigt.

Bedömningsordningen påverkas av:

barns och ungas behov
aktualiteten av ett politiskt beslut som gäller fenomenet och metoden
omfattningen av metodens användning på fältet
metodens nyhetsvärde med tanke på målgruppen och fenomenet som ett komplement till urvalet av metoder

En metod som omprövas

Experterna från Tidig insats gör en omprövning av metoden om inkluderingskriterierna för metoden fortfarande uppfylls. Experterna beslutar samtidigt om metodernas bedömningsordning, om det finns flera metoder som ska bedömas samtidigt.

Bedömningsordningen påverkas i första hand av en ny undersökning av effekter som publicerats om metoden.

Sekundärt påverkas ordningen av:

barns och ungas behov
aktualiteten av politiskt beslutsfattande som gäller fenomenet och metoden
omfattningen av metodens användning på fältet

Den som föreslagit metoden informeras antingen om att bedömningsprocessen har inletts eller om att metoden inte tas upp för bedömning.

I det senare fallet ger vi också respons.

5. Bedömningsprocessen

I bedömningen av en metods effektivitet deltar bedömningsexperter från Tidig insats och bedömare som utbildats av Tidig insats. I början av bedömningsprocessen träffas bedömningsexperterna från Tidig insats och de som upprätthåller metoden och inleder samarbetet: på mötet går man igenom metodbanken, bedömningsprocessen, tidtabellen och metoden som ska bedömas.

Därefter söker experterna från Tidig insats oberoende bedömare som kan delta i bedömningen. Enligt de nuvarande kriterierna ska en av bedömarna ha disputerat. Båda bedömarna förstår interventionsforskning och de gör sig förtrogna med metoden och forskningslitteraturen.

Experterna från Tidig insats inleder en systematisk litteratursökning om metoden som bedöms och söker i litteraturen efter effekt-, implementerings- och kostnadsverkningsstudier av metoden. Därefter utarbetar bedömarna metodbedömningen och den systematiska litteraturöversikten.

Innan den uppdaterade bedömningen publiceras skickas bedömningen till den organisation som upprätthåller metoden, den som implementerar metoden och en referentgranskare som bedömer bedömningens kvalitet. Därefter godkänner ordföranden för den vetenskapliga redaktionen på Tidig insats den nya bedömningen.

6. Publicering av metodbedömning

När metoden har bedömts publicerar vi den som en systematisk litteraturöversikt i tidskriften Kasvun tuki och i metodbanken på Itlas webbplats.