Implementoinnin tulosten arviointi mittareilla – kirjallisuuskatsaus
- Kartoitamme, millaisia mittareita palvelujärjestelmässä voitaisiin käyttää, kun arvioidaan psykososiaalisten interventioiden juurtumista.
- Artikkeli on ensimmäinen suomenkielinen katsaus implementoinnin tuloksia kuvaavista mittareista.
- Tunnistimme useita implementoinnin tulosten mittareita, mutta tutkimusta niiden hyödyntämisestä osana laajamittaista psykososiaalisten interventioiden käyttöönottoa ei juurikaan ole.
- Suosittelemme sopivimpien mittareiden laadun ja soveltuvuuden lisäarviointia suomalaisessa palvelujärjestelmässä.
Implementoinnin arviointi on keskeinen osa näyttöön perustuvien interventioiden onnistunutta käyttöönottoa. Se tarjoaa tietoa prosessin sujuvuudesta ja lopputuloksista, jolloin voidaan tunnistaa haasteita ja tehostaa intervention juurtumista palvelujärjestelmiin. Tässä artikkelissa tarkastelemme implementoinnin määrällistä arviointia ja keskitymme erityisesti implementoinnin tulosten arviointiin tarkoitettuihin mittareihin.
Implementoinnilla tarkoitetaan tietoon perustuvien interventioiden saattamista käytäntöön niin, että tiedon soveltamisen esteet toimintaympäristössä tunnistetaan ja ne pyritään ylittämään (Sipilä ym., 2016). Implementoinnin arvioinnin viitekehys (engl. Implementation evaluation framework) jäsentää implementointiprosessin systemaattista arviointia. (Nilsen, 2015a). Tällöin voidaan tunnistaa esimerkiksi intervention käyttöön liittyvät haasteet, jolloin juurtumista voidaan tukea johtamisen, implementointitiimin ja viestinnän keinoin (Bauer ym., 2015; Bullock ym., 2021). Implementoinnin arvioinnin viitekehystä on käytetty etenkin mielenterveyspoliittisten ohjelmien implementoinnissa (Bullock ym., 2021) ja esimerkiksi mielenterveyden edistämisen interventioiden implementoinnissa (Tsantila ym., 2023) sekä Maailman terveysjärjestö WHO:n julkaisemassa mielenterveyden kriisiavun arvioinnin työvälineistössä (Inter-Agency Standing Committee (IASC), 2021). Arvioinnissa on käytetty laadullisia menetelmiä tai yhdistetty määrällisiä ja laadullisia menetelmiä (Aliev ym., 2023; Bullock ym., 2021).
Yksi tapa konkreettisesti arvioida implementointia Nilsenin (2015) viitekehyksen mukaisesti ovat implementoinnin tulokset (implementation outcomes)(Proctor ym., 2011). Implementoinnin tulokset ovat hyödyllinen viitekehys silloin, kun arvioidaan, onko implementointiprosessilla saavutettu asetetut tavoitteet. Implementoinnin tuloksillatarkoitetaan tavoitteellisten toimien vaikutuksia, kun uusia toimintamalleja tai interventioita otetaan käyttöön (Proctor ym., 2011) (taulukko 1). Kun halutaan arvioida esimerkiksi psykososiaalisten interventioiden käyttöönoton onnistumista, implementoinnin tulosten lisäksi voidaan hyödyntää myös tietoja potilas- ja palvelujärjestelmätason tuloksista, kuten diagnostisten oirepisteiden laskusta tai hoidon oikea-aikaisuudesta. Implementoinnin tuloksien tarkastelu täydentää tätä kliinistä näkökulmaa implementoinnin kuvauksella (Nilsen, 2015; Proctor ym., 2009; 2011; 2023).
Implementoinnin mittareita voidaan käyttää mittaamaan implementoinnin tuloksia implementointiprosessin eri vaiheissa (Hall ym., 2022; Mettert ym., 2020; Smith & Hasan, 2020). Myös implementoinnin tuloksia mitataan usein kyselyin tai mittarein, jotka täyttää implementoitavaa interventiota käyttävä ammattilainen (Lewis ym., 2015). Implementoinnin tulosten erittely ja mittaaminen voivat edistää syvällisempää ymmärrystä implementointiprosesseista, kun implementoinnin tuloksien keskeiset arvioitavat osa-alueet on määritelty. Tämä mahdollistaa myös eri implementointistrategioiden vertailun keskenään. (Proctor ym., 2011.) Implementoinnin tulosten tutkiminen voi tuoda tietoa siitä, ovatko hyödynnetyt implementointistrategiat tuottaneet haluttuja vaikutuksia (Lewis ym., 2015).
Implementoinnin tuloksia mittaamalla voidaan tukea mielenterveyspalvelujen kehittämistä ja erityisesti seurata psykososiaalisten interventioiden käyttöönottoa ja juurtumista. Muita arviointiin soveltuvia, esimerkiksi psykososiaalisen intervention kuvaukseen, arviointiin ja muokkauksien läpinäkyvyyteen sopivia viitekehyksiä on tunnistettu, ja niistä osa on käännetty suomeksi (Seilo ym., 2024). Teknologia-avusteisen hoidon käytettävyyden tai hyväksyttävyyden arviointiin on olemassa kansainvälisesti varsin vakiintuneitakin työvälineitä (Linnaranta & Pelkonen, 2023). Implementointiprosessin mittareista Suomessa on käytössä NoMAD (Pirha, 2024; Finch ym., 2018). Mittarit ovat keskeinen osa implementoinnin tulosten arviointia, mutta siitä huolimatta niitä ei ole aiemmin kuvattu systemaattisesti suomalaisessa tutkimuksessa.
Tutkimuksen tavoite
Tämän katsauksen tarkoituksena on kartoittaa, kuinka monia implementoinnin tuloksiin kehitettyjä mittareita on kuvattu ja arvioitu. Tarkastelemme, mitä implementoinnin tulosten mittareita on käytetty mielenterveyspalveluiden kehittämisessä ja erityisesti psykososiaalisten interventioiden implementoinnissa. Tämän tarkastelun pohjalta voidaan arvioida, voitaisiinko joitain mittareista jatkossa soveltaa, kun otetaan maan laajuisesti käyttöön psykososiaalisia interventioita.
Aineisto ja menetelmät
Katsaus toteutettiin kuvailevana ajankohtaiskatsauksena (state-of-art). Kuvaileva ajankohtaiskatsaus kohdistuu usein joko uusimpaan saatavilla olevaan tietoon valitusta aihealueesta tai uuden näkökulman tuottamiseen (Grant & Booth, 2009). Se pyrkii kuvaamaan tietyn teeman osalta nykytilaa, polkua nykytilaan sekä tulevaisuuden suuntia. Keskitymme uusimpaan saatavilla olevaan tietoon, sillä se tukee tutkimuksen tavoitetta.
Kirjallisuushaussa käytetyt hakusanat olivat implementointimittarit ja implementoinnin tulokset. Tarkat hakulausekkeet on kuvattu taulukossa 2. Aikarajaus tehtiin vuosiin 2020–2025. Haut tehtiin PubMed-tietokannasta maaliskuussa 2025. Tiedossamme oli, että Mettertin ja kumppaneiden artikkeli (2020) on ensimmäisiä implementoinnin mittareita systemaattisesti yhteen kokoavia katsauksia, ja hakutulokset rajattiin alkamaan vuodesta 2020 alkaen.
Haun eteneminen on kuvattu kuviossa 1. Hakuun tuli yhteensä 87 artikkelia, joiden otsikot käytiin läpi. Tarkempaan tarkasteluun otettiin artikkelit (N=7), jotka käsittelevät implementoinnin tulosten mittareita, ovat systemaattisia katsauksia tai meta-analyyseja, kuvaavat mittareiden psykometristä tietoa ja on julkaistu vuosina 2020–2025. Lisää soveltuvia artikkeleita etsittiin haussa sisäänottokriteerit täyttävien artikkeleiden viiteluetteloista ja näihin viitanneiden artikkelien viiteluetteloista, ja tätä kautta tarkempaan tarkasteluun päätyi yksi (N=1) artikkeli. Tieto mittareista syntetisoitiin taulukoihin teemoittain implementoinnin tulosten mukaan jaoteltuna. Kävimme lopuksi katsaukset läpi ja tarkastelimme, onko niissä esimerkkejä tutkimuksista, joissa on käytetty mittareita psykososiaalisten interventioiden implementointiin. Kuvaamme tätä tulosluvussa.
Tarkastelimme katsauksissa myös tunnistettujen mittareiden validiteetista tuotettua tietoa osana tuloksia. Yleisesti mittareiden laatua voidaan arvioida tarkastelemalla niiden mittausominaisuuksia eli niiden psykometrisiä ominaisuuksia. Tällöin voidaan tarkastella esimerkiksi sitä, mitä mittari käsitteellisesti mittaa, tuottaako se luotettavasti toistettavia tuloksia tai kuinka hyvin mittari havaitsee muutoksen vastaajan vastauksissa. (Vitoratou ym., 2023.) Implementointimittareiden psykometristen ominaisuuksien arviointiin on olemassa eri viitekehyksiä.
Implementointitutkimuksen kentällä käytetään laajimmin PAPERS-viitekehystä (The Psychometric And Pragmatic Evidence Rating Scale, (Stanick ym., 2021), joka on kehitetty nimenomaan implementoinnin mittareiden arviointiin. Tavoitteena on, että käyttämällä samaa viitekehystä mittareiden ominaisuuksiin ja laatuihin liittyvä tietopohja olisi helpommin käytettävissä ja vertailtavissa. Tunnistimme lisäksi ConPsy-tarkistuslistan, jonka avulla psykometrisiä ominaisuuksia voidaan myös arvioida (Khadjesari ym., 2020); tätä oli käytetty yhdessä katsauksista.
PAPERS-viitekehys on vakiintunut viimeaikaisten katsausten viitekehykseksi (Allen ym., 2020; Hall ym., 2022; McLoughlin ym., 2021; Mettert ym., 2020; Pilar ym., 2022). PAPERS-viitekehyksen avulla voidaan arvioida mittarin laatua tarkastelemalla reliabiliteettia, validiteettia ja muutosherkkyyttä. Mittarin reliabiliteetilla tarkoitetaan sen johdonmukaisuutta ja kykyä tuottaa tuloksia, joihin eivät vaikuta satunnaisvirheet tai olosuhteet. Jotta luotettavaa määrällistä tietoa implementoinnista voidaan kerätä, on hyödynnettävä mittareita, jotka mittaavat juuri sitä, mitä niiden on tarkoitus mitata, eli toisin sanoen ovat valideja. Muutosherkkyydellä puolestaan tarkoitetaan mittarin kykyä havaita ajassa tapahtuvia muutoksia. Lisäksi PAPERS-viitekehys arvioi mittarin käytettävyyttä monista näkökulmista, joita esittelemme seuraavaksi. Luokitus (norms) viittaa otoskokoon eli siihen, kuinka monta vastaajaa mittarille tavoitellaan. Kulujen arviointi (cost) sisältää mittarin käyttökustannukset ja kieli (language) mittarin ymmärrettävyyden ja luettavuuden. Tulkittavuus (assessor burden, ease of training & easy to interpret) kertoo, kuinka paljon ohjeistusta tai koulutusta mittarin käyttö vaatii ja kuinka helppo sitä on tulkita. Mittarin pituutta arvioidaan sen osakysymysten määrällä. (Stanick ym., 2021.)
Tulokset
Kartoitimme ensin implementoinnin tulosten mittareita. Tunnistimme yhteensä viisi implementoinnin tuloksien mittaamista koskevaa katsausta, jotka on kuvattu taulukossa 3. Vuosien 2020–2023 aikana ei julkaistu meta-analyyseja.
Seuraavaksi tarkastelimme, miten katsauksissa implementoinnin mittarit jakautuvat tuloksittain (Allen ym., 2020; Hall ym., 2022; McLoughlin ym., 2021; Mettert ym., 2020; Pilar ym., 2022; Proctor ym., 2011; Khadjesari ym., 2020) (Taulukko 4).
Katsauksiin sisältyi osittain samoja mittareita. Tarkan kokonaismäärän tai yksittäisten mittareiden arviointi on kuitenkin katsauksemme fokuksen ulkopuolella.
Määrällisesti vähiten mittareita implementoinnin tulosta kohti löytyi kustannusten ja tulosten pysyvyyden arviointiin. Erityisesti tulosten pysyvyyden mittareiden vähäinen määrä on yllättävää, sillä yksi katsauksista keskittyi ainoastaan tulosten pysyvyyttä kuvaaviin mittareihin (Hall ym., 2022). Tunnistettujen mittareiden alkuperäisraporteissa otoskoot oli katsausten mukaan hyvin raportoitu, ja yleisin arvioitu psykometrinen ominaisuus oli sisäinen johdonmukaisuus, joka kertoo mittarin reliabiliteetista eli luotettavuudesta. Kaikissa katsauksissa kuitenkin todettiin, että psykometristen ominaisuuksien raportointi oli muiden ominaisuuksien osalta puutteellista ja vähäistä. (Allen ym., 2020; Hall ym., 2022; McLoughlin ym., 2021; Mettert ym., 2020; Pilar ym., 2022; Khadjesari ym., 2020.)
Implementoinnin mittareiden laatu on viime vuosien aikana kehittynyt, mutta laajalti tarkasteltuna katsauksissa todettiin, että suurin osa mittareista on psykometrisiltä ominaisuuksiltaan silti yhä heikkoja tai niiden ominaisuuksia ei ole raportoitu riittävän hyvin (Allen ym., 2020; Dorsey ym., 2021; Hall ym., 2022; McLoughlin ym., 2021; Mettert ym., 2020; Pilar ym., 2022; Powell ym., 2021; Stanick ym., 2021).
Lopuksi tarkastelimme, miten implementoinnin tulosten mittareita on hyödynnetty osana psykososiaalisten interventioiden käyttöönottoa. Hall ja kumppanit (2022) käsittelivät katsauksessaan tulosten pysyvyyden mittareita. Näistä mittareista kahta oli käytetty mielenterveyspalveluissa interventioiden implementoinnissa: PRESS (Moullin ym., 2021) ja SMSS (Palinkas ym., 2020). PRESS-kyselyä hyödynnettiin neljän intervention kohdalla päihdehoidossa, lastensuojelussa, kouluissa ja erikoissairaanhoidossa (Moullin ym., 2021). SMSS-kyselyä sovellettiin seitsemässä eri toimintamallissa ja interventiossa, jotka keskittyivät nuorten ja riskiryhmien mielenterveyden tukemiseen, päihteiden käytön ehkäisyyn sekä tartuntatautien torjuntaan eri palveluympäristöissä (Palinkas ym., 2020). Muissa katsauksissa mittareita oli ryhmitelty käytettäväksi mielenterveyteen liittyen, mutta käyttöympäristöä, kohderyhmää tai -tapaa ei avattu tarkemmin (McLoughlin ym., 2021; Mettert ym., 2020). Osa katsauksista sisälsi vain sellaisia implementoinnin mittareita, joita ei ollut käytetty mielenterveyteen liittyvissä tarkoituksissa (Khadjesari ym., 2020; Allen ym., 2020). Lisäksi mittareita oli hyödynnetty osana mielenterveyden edistämiseen liittyviä strategioita (Pilar ym., 2022).
Pohdinta ja johtopäätökset
Tarve laadukkaille, validoiduille implementointia mittaaville mittareille niin meillä kuin muuallakin on ilmeinen. Mittareita muista konteksteista pystyisi todennäköisesti hyödyntämään myös psykososiaalisten interventioiden käyttöönoton yhteydessä, mutta tämä vaatii tarkempaa jatkoselvitystä. Ihannetilanteessa kuhunkin implementointiprosessin vaiheeseen ja tulokseen olisi yhteisesti sovittu mittari osana laajempaa käyttöönottoprosessia esimerkiksi hyvinvointi- ja yhteistyöalueilla tai koko maan laajuisesti. Vaikka kaikille implementoinnin eri tuloksille on laadittu mittareita, jakautuvat mittarit epätasaisesti eri tuloksien kesken. Joidenkin tulosten arviointiin on jopa kymmenittäin mittareita, kun taas toisiin vain vähän.
”Ihannetilanteessa kuhunkin implementointiprosessin vaiheeseen ja tulokseen olisi yhteisesti sovittu mittari osana laajempaa käyttöönottoprosessia esimerkiksi hyvinvointi- ja yhteistyöalueilla tai koko maan laajuisesti.”
Implementointimittareita kehitetään nopeasti lisää. Uusien mittareiden luomisen sijasta tulisi kuitenkin keskittyä jo käytössä olevien mittareiden ominaisuuksien tutkimiseen ja validoimiseen paremman vertailtavuuden mahdollistamiseksi. Ihanteellisinta olisi, jos kullekin tulokselle valikoituisi vain yksi mahdollisimman geneeriseen käyttöön sopiva mittari.
Katsauksen vahvuudet ja heikkoudet
Olemme tehneet ajankohtaista tilannekuvaa kartoittavan katsauksen siitä, miten monta implementoinnin tulosten mittareita kirjallisuudessa on tunnistettu ja onko niitä sovellettu psykososiaalisten interventioiden käyttöönoton tukena. Artikkeli on ensimmäinen implementoinnin tulosten mittareita yhteen kokoava katsaus suomeksi. Katsauksen heikkous on, että emme tehneet katsausten laadun varmistusta kuten systemaattisessa katsauksessa tehdään (Grant & Booth, 2009). Artikkelin puitteissa ei ollut mahdollista arvioida sisään otetuissa katsauksissa kuvattujen mittareiden laatua tai mittareiden päällekkäisyyttä keskenään eri katsauksissa tai niiden mahdollista soveltuvuutta psykososiaalisiin interventioihin, vaan tämä olisi edellyttänyt alkuperäisjulkaisuiden läpikäymistä.
Katsauksen pohjalta tunnistettujen mittareiden käyttöä psykososiaalisten interventioiden käyttöönotossa tulee selvittää tarkemmin osana jatkotutkimusta. Tavoitteena on valita tunnistetuista katsauksista psykometrisesti laadukkaimmat ja Suomen kansalliseen psykososiaalisten interventioiden käyttöönottoon soveltuvimmat implementoinnin tuloksen mittarit. Käännöksen lisäksi tulisi arvioida uusien mittareiden käytettävyyttä, toteutettavuutta ja hyödyllisyyttä käyttöönoton tukena. Mittareiden pitkäjänteinen kehittäminen sekä validiteetin ja hyödyllisyyden tutkiminen vaativat niiden käyttöä ja arviointia osana eri interventioiden tarkastelua, eri toimintaympäristöissä ja eri kohderyhmissä.
Artikkeli on Kasvun tuki -aikakauslehden ennakkojulkaisu, joka julkaistaan loppuvuodesta osana lehden numeroa 2/2025.
Avainsanat: implementointi, implementointimittarit, psykometriikka, mittaaminen, arviointi
Sidonnaisuudet: Outi Linnaranta: Mielenterveysstrategia, Duodecim kirjoittajapalkkiot. Muilla ei sidonnaisuuksia.
Aliev, A. A., Tomaskova, H., Winkler, P., Yon, Y., Kagstrom, A., Guerrero, Z., … & Maurer, J. (2023). Methods and tools to assess implementation of mental health policies and plans: A systematic review. Global Mental Health, 10, e12-. https://doi.org/10.1017/gmh.2023.3
Allen, P., Pilar, M., Walsh-Bailey, C., Hooley, C., Mazzucca, S., Lewis, C. C., … & Brownson, R. C. (2020). Quantitative measures of health policy implementation determinants and outcomes: A systematic review. Implementation Science, 15(1), 47. https://doi.org/10.1186/s13012-020-01007-w
Bauer, M. S., Damschroder, L., Hagedorn, H., Smith, J. & Kilbourne, A. M. (2015). An introduction to implementation science for the non-specialist. BMC Psychology, 3(1), 32. https://doi.org/10.1186/s40359-015-0089-9
Bullock, H. L., Lavis, J. N., Wilson, M. G., Mulvale, G. & Miatello, A. (2021). Understanding the implementation of evidence-informed policies and practices from a policy perspective: a critical interpretive synthesis. Implementation Science, 16, 1–24. https://doi.org/10.1186/s13012-021-01082-7
Dorsey, C. N., Mettert, K. D., Puspitasari, A. J., Damschroder, L. J. & Lewis, C. C. (2021). A systematic review of measures of implementation players and processes: Summarizing the dearth of psychometric evidence. Implementation Research and Practice, 2, 26334895211002474. https://doi.org/10.1177/26334895211002474
Finch, T. L., Girling, M., May, C. R., Mair, F. S., Murray, E., Treweek, S., … & Rapley, T. (2018). Improving the normalization of complex interventions: Part 2 – validation of the NoMAD instrument for assessing implementation work based on normalization process theory (NPT). BMC Medical Research Methodology, 18(1), 135. https://doi.org/10.1186/s12874-018-0591-x
Grant, M. J. & Booth, A. (2009). A typology of reviews: An analysis of 14 review types and associated methodologies. Health Information & Libraries Journal, 26(2), 91–108. https://doi.org/10.1111/j.1471-1842.2009.00848.x
Hall, A., Shoesmith, A., Doherty, E., McEvoy, B., Mettert, K., Lewis, C. C., … & Nathan, N. (2022). Evaluation of measures of sustainability and sustainability determinants for use in community, public health, and clinical settings: A systematic review. Implementation Science, 17(1), 81. https://doi.org/10.1186/s13012-022-01252-1
Inter-Agency Standing Committee (IASC). (2021). The Common Monitoring and Evaluation Framework for Mental Health and Psychosocial Support in Emergency Settings: with means of verification (Version 2.0). IASC, Geneva, 2021.
Khadjesari, Z., Boufkhed, S., Vitoratou, S., Schatte, L., Ziemann, A., Daskalopoulou, C., … & Hull, L. (2020). Implementation outcome instruments for use in physical healthcare settings: a systematic review. Implementation Science : IS, 15(1), 1–66. https://doi.org/10.1186/s13012-020-01027-6
Lewis, C. C., Stanick, C. F., Martinez, R. G., Weiner, B. J., Kim, M., Barwick, M. & Comtois, K. A. (2015). The Society for Implementation Research Collaboration Instrument Review Project: A methodology to promote rigorous evaluation. Implementation Science, 10(1), 2. https://doi.org/10.1186/s13012-014-0193-x
Linnaranta, O. & Pelkonen, I. (2023). Teknologia-avusteiset mielenterveyden hoitomenetelmät Suomessa. Tutkimuksesta tiiviisti 16/2023. Terveyden ja hyvinvoinnin laitos THL. https://urn.fi/URN:ISBN:978-952-408-067-5
McLoughlin, G. M., Allen, P., Walsh-Bailey, C. & Brownson, R. C. (2021). A systematic review of school health policy measurement tools: Implementation determinants and outcomes. Implementation Science Communications, 2(1), 67. https://doi.org/10.1186/s43058-021-00169-y
Mettert, K., Lewis, C., Dorsey, C., Halko, H. & Weiner, B. (2020). Measuring implementation outcomes: An updated systematic review of measures’ psychometric properties. Implementation Research and Practice, 1, 263348952093664. https://doi.org/10.1177/2633489520936644
Moullin, J. C., Sklar, M., Ehrhart, M. G., Green, A. & Aarons, G. A. (2021). Provider REport of Sustainment Scale (PRESS): development and validation of a brief measure of inner context sustainment. Implementation Science, 16, 1–10. https://doi.org/10.1186/s13012-021-01152-w
Nilsen, P. (2015). Making sense of implementation theories, models and frameworks. Implementation Science, 10(1), 53. https://doi.org/10.1186/s13012-015-0242-0
Palinkas, L. A., Chou, C. P., Spear, S. E., Mendon, S. J., Villamar, J. & Brown, C. H. (2020). Measurement of sustainment of prevention programs and initiatives: the sustainment measurement system scale. Implementation Science, 15, 1–15. https://doi.org/10.1186/s13012-020-01030-x
Pilar, M., Jost, E., Walsh-Bailey, C., Powell, B. J., Mazzucca, S., Eyler, A., … & Brownson, R. C. (2022). Quantitative measures used in empirical evaluations of mental health policy implementation: A systematic review. Implementation Research and Practice, 3. https://doi.org/10.1177/26334895221141116
Pirha. (2024). Nomad-N kyselyn tulokset—Pirha.fi. Haettu osoitteesta https://www.pirha.fi/ammattilaiselle/hankkeet-ja-projektit/viva-projekti/nomad-n-kyselyn-tulokset
Powell, B. J., Mettert, K. D., Dorsey, C. N., Weiner, B. J., Stanick, C. F., Lengnick-Hall, R., … & Lewis, C. C. (2021). Measures of organizational culture, organizational climate, and implementation climate in behavioral health: A systematic review. Implementation Research and Practice, 2, 26334895211018862. https://doi.org/10.1177/26334895211018862
Proctor, E. K., Bunger, A. C., Lengnick-Hall, R., Gerke, D. R., Martin, J. K., Phillips, R. J. & Swanson, J. C. (2023). Ten years of implementation outcomes research: A scoping review. Implementation Science, 18(1), 31. https://doi.org/10.1186/s13012-023-01286-z
Proctor, E. K., Landsverk, J., Aarons, G., Chambers, D., Glisson, C. & Mittman, B. (2009). Implementation research in mental health services: An emerging science with conceptual, methodological, and training challenges. Administration and Policy in Mental Health, 36(1), 24–34. https://doi.org/10.1007/s10488-008-0197-4
Proctor, E., Silmere, H., Raghavan, R., Hovmand, P., Aarons, G., Bunger, A., Griffey, R. & Hensley, M. (2011). Outcomes for Implementation Research: Conceptual Distinctions, Measurement Challenges, and Research Agenda. Administration and Policy in Mental Health, 38(2), 65–76. https://doi.org/10.1007/s10488-010-0319-7
Seilo, N., Lindholm, L., Tani, S., Laajasalo, T., Lämsä, R., Cresswell-Smith, J., Kouvonen, P. & Linnaranta, O. (2024). Psykososiaalisen intervention adaptointi—Kuvaus keskeisistä näkökulmista ja käsitteistä. Kasvun tuki -aikakauslehti, 4(1). https://doi.org/10.61259/kt.144999
Sipilä, R., Mäntyranta, T., Mäkelä, M., Komulainen, J., & Kaila, M. (2016). Implementointia suomeksi. Lääketieteellinen Aikakauskirja Duodecim, 132(9), 850–857.
Smith, J. D. & Hasan, M. (2020). Quantitative approaches for the evaluation of implementation research studies. Psychiatry Research, 283, 112521. https://doi.org/10.1016/j.psychres.2019.112521
Stanick, C. F., Halko, H. M., Nolen, E. A., Powell, B. J., Dorsey, C. N., Mettert, K. D., … & Lewis, C. C. (2021). Pragmatic measures for implementation research: Development of the Psychometric and Pragmatic Evidence Rating Scale (PAPERS). Translational Behavioral Medicine, 11(1), 11–20. https://doi.org/10.1093/tbm/ibz164
Tsantila, F., Coppens, E., De Witte, H., Arensman, E., Aust, B., Pashoja, A. C., … & Zsak, E. (2023). Implementing a complex mental health intervention in occupational settings: process evaluation of the MENTUPP pilot study. BMJ Open, 13(12), e077093-. https://doi.org/10.1136/bmjopen-2023-077093
Vitoratou, S., Uglik-Marucha, N., Hayes, C. & Pickles, A. (2023). A comprehensive guide for assessing measurement tool quality- the Contemporary Psychometrics (ConPsy) Checklist. https://doi.org/10.31234/osf.io/t2pbj
Kirjoittajat
Sara Tani
VTM, asiantuntija, Itla; väitöskirjatutkija, Helsingin yliopisto
Noora Seilo
Nuorisolääkäri, LT kehittämispäällikkö, Itla; postdoc-tutkija, Tampereen yliopisto
Riikka Lämsä
Dosentti, VTT, sh, koulutusohjelmajohtaja, yliopistonlehtori, Helsingin yliopisto
Petra Kouvonen
VTT, rehtori, Social- och kommunalhögskolan, Helsingin yliopisto
Outi Linnaranta
Psykiatrian erikoislääkäri, dosentti, YET, ylilääkäri, THL; tieteellinen päätoimittaja, Itla
Uutiset
