Current Issue

검색된 문헌들을 최종적으로 검토하기 위한 포함·배제 기준은 PICO-SD(Population/Problem, Intervention, Comparisons, Outcomes, Study Designs)를 사용하여 Table 1에 제시하였다[31]. 먼저 문제(problem)는 다양한 인구집단을 대상으로 한 건강 행동 및 상태 관련 프로그램의 평가 프레임워크 사용으로 설정하였다. 여기서 다양한 인구집단은 대학생을 포함한 일반 성인, 청소년, 직장인, 노인 등을 포함한다. 건강 행동 및 상태 관련 분야가 아닌 다른 주제에 대한 평가 프레임워크 사용을 분석한 경우, 예를 들면 의료 시스템을 평가하기 위한 도구로 평가 프레임워크가 사용된 경우는 모두 제외하였다. 개입(intervention)의 경우, 의료적 행위가 가해지지 않은 비의료적 건강 상태 및 행동 관련 개입을 포함하였다. 결과 측정(outcomes)도 마찬가지로 비의료적 건강 상태 및 행동으로 신체활동 증진, 건강한 식습관 형성, 그리고 좌식행동 감소 등을 포함하였다. 개입이나 결과 측정 변인에 의료 행위가 포함되었더라도 신체활동, 식습관 개선, 그리고 좌식행동에 초점을 맞춘 논문이 하나라도 포함되어 있으면 선정 기준에 포함하였다. 연구 디자인(study design)으로는 건강 상태 및 행동 개입의 평가 단계를 분석한 체계적 문헌 고찰 및 메타 분석 연구를 포함하였고, 서술적 고찰(narrative review) 및 회색문헌(grey literature)은 제외하였다. 연구기간은 2005년 1월부터 2023년 2월까지 게재된 논문으로 설정하였고 영문이 아닌 다른 언어로 작성된 문헌은 제외하였다.

본 연구는 미국국립의학도서관에서 제시한 COSI(Core, Standard, Ideal) 모델을 사용하였고, 이 중 문헌 검색의 핵심 데이터베이스인 Core와 표준 검색 범위인 Standard에 해당하는 검색원을 포함하였다[31]. Core에 해당하는 PubMed에는 MeSH(Medical Subject Headings) term을, Standard에 해당하는 CINAHL(Cumulative Index to Nursing & Allied Health)에는 Subject Heading을, Scopus에는 수기검색을 실시하였다. 검색어는 연구문제 PICO-SD로부터 도출하였으며, 검색엔진별 검색어는 부록에 기록하였다.

검색된 자료를 추출하기 위해 각 데이터베이스의 서지들을 Endnote(version 20, Clarivate corp., Philadelphia, PA, U.S.) 프로그램으로 반출한 후 중복되는 문헌들은 제외하였다. 중복 문헌 제거 후에는 연구의 제목과 초록을 검토하였고 본 연구 주제와 일치하지 않는 연구는 2차적으로 제외하였다. 제목과 초록만 보고 포함·배제 여부를 판단하기 힘든 경우 원문을 읽고 판단하였다. 문헌 선택을 위해 연구자 3인이 독립적으로 문헌을 고찰하였으며, 문헌 선택 과정에서 불일치한 의견은 연구자 간 논의를 통해 합의를 이루었다. 문헌을 선택하는 모든 과정은 PRISMA 흐름도를 통해 제시하였으며, 최종적으로 선정된 연구는 첫 번째 저자명과 게재연도, 분석 종류, 고찰에 포함된 논문 수, 대상 인구집단, 대상 프레임워크, 프로그램 환경, 대상 건강행동 및 상태의 프로그램 특징으로 분류하였다.

동일한 키워드를 바탕으로 각 데이터베이스에서 추출된 자료는 다음과 같다. 검색을 통해 확인된 문헌 수는 PubMed 357개, CINAHL 414개, Scopus 353개로 총 1,124개의 문헌이 검색되었다. 346개의 중복문헌 제거 후, 논문 제목과 초록 확인을 통해 또 다시 765개를 제거하였다. 원문이 확보된 최종 선정대상 논문 13개 중 프레임워크 사용에 대한 분석이 아닌 과정 평가 변인에만 초점을 맞춘 논문 1편, 의료적 행위를 결과 변인으로 측정한 논문 1편, 의료 체계에 대한 평가 프레임워크 사용을 분석한 논문 1편은 배제하였다. 이에 본 고찰에는 총 10개의 체계적 문헌 고찰 및 메타분석 연구가 포함되었다. 이와 같은 연구 선택 과정은 PRISMA 흐름도를 통해 제시하였다(Figure 1).

Figure 1. 
Study diagram

최종적으로 선정된 연구의 특성은 Table 2에 제시하였다. 선정된 10개의 논문 중 체계적 문헌 고찰과 메타분석을 함께 실시한 1개의 논문을 제외한 나머지 9개의 논문은 모두 체계적 문헌 고찰 연구로 확인되었다. 대상 인구집단은 직장인 및 노동자를 대상으로 한 연구 3편, 교회 신도들을 대상으로 한 연구 1편, 다양한 인구 집단을 대상으로 한 연구 6편으로 구성되었으며, 평가 프레임워크의 종류는 여러 개의 평가프레임워크를 혼합한 연구 3편, RE-AIM 3편, Process evaluation for public health 2편, Precede-Proceed model 1편, Intervention Mapping 1편으로 확인되었다. 연구 환경은 다양한 환경에서 실시된 연구들을 포괄적으로 고찰한 연구 5편, 직장 환경에서 수행된 연구 3편, 교회 환경에서 수행된 연구 1편, 특별히 언급하지 않은 연구 1편으로 확인되었다. 대상 건강 행동 및 상태 역시 다양하게 수행되었다. 10개의 논문 중 신체활동과 좌식행동을 각각 고찰한 연구 2편을 제외한 나머지 8개의 연구는 모두 두 개 이상의 건강행동 및 상태를 대상으로 한 건강 증진 프로그램의 평가 프레임워크 사용을 분석하였다.

본 고찰에 최종적으로 포함된 10개의 논문 중 7개의 논문은 RE-AIM 3편, Process evaluation for public health 2편, Precede-Proceed 1편, Intervention Mapping 1편으로, 각각의 프레임워크가 다양한 건강 상태 및 행동 분야에 어떻게 사용되고 있는지 고찰한 연구이며, 나머지 3편의 논문은 하나의 건강 행동 분야에 다양한 프레임워크들이 어떻게 적용되어 왔는지 살펴본 연구이다. 앞서 언급한 ‘RE-AIM’은 대상자 모집 및 선정(Reach): 프로그램에 참여하고자 하는 연구 대상자의 수 또는 비율, 효과(Effectiveness): 경제적 영향 및 부정적 영향을 포함한 개입이 결과 및 삶의 질에 미치는 영향, 수행기관 특성(Adoption): 기관 차원과 프로그램 직원 차원으로 구분, 개입 수행 기관의 수, 비율, 대표성, 수행 인력의 특성 분석, 실행(Implementation): 개입 요소에 대한 실행자의 충실도(개입 제공의 일관성, 시간 및 비용), 지속(Maintenance): 기관 차원과 개인 차원으로 구분, 기관 차원은 ‘프로그램이 제도화 되거나 조직 및 정책의 일부가 되는 정도’, 개인 차원은 ‘개입으로 인한 변화 지속성 평가’를 의미하며, 크게 다섯 가지 차원으로 구성되어 있다[32-34]. 또한 이 다섯 가지 차원에는 각 평가 차원에서 연구자가 평가해야 할 세부 지표들이 포함되어 있다. Linnan & Steckler의 Process evaluation for public health 프레임워크는 과정 평가 시 필요한 7개의 주요 구성 요소를 의미하며 각 요소는 환경(context): 프로그램에 영향을 미칠 수 있는 경제적 상황 및 사회적 환경, 또는 대조군에게 노출된 환경, 참여(reach): 연구 대상자의 특성 및 각 개입에 참여한 연구 참여자의 수 또는 비율, 전달된 양(dose delivered): 의도한 개입 모두를 제공하기 위한 연구자의 노력 및 각 개입의 유닛이 전달된 양, 받은 양(dose received): 연구 대상자의 특성, 개입 참여 및 상호작용 정도 혹은 제공된 자원 수용 정도, 충실도(fidelity): 개입 제공자의 역할 및 프로그램 개발자가 의도한대로 개입이 전달된 정도, 실행(implementation): 참여, 전달된 양, 받은 양, 충실도 모두를 종합하는 점수, 모집(recruitment): 연구 대상자를 모집하는 과정 및 절차를 의미한다[11]. Precede(Predisposing Reinforcing Enabling Constructs in Educational/environmental Diagnosis and Evaluation)는 대상 인구집단의 목표 행동 변화를 목적으로 한 맞춤형 프로그램 개발의 진단과 계획 과정을 의미하며, 사회적 진단, 역학적 진단, 교육 및 생태학적 진단, 행정 및 정책 진단과 중재 구성까지의 4단계를 의미한다[35, 36]. Proceed(Policy, Regulatory, and Organizational Constructs in Educational and Environmental Development)는 Precede를 사용하여 프로그램을 수행하고 평가하는 단계를 의미하며, 프로그램 실행, 과정 평가, 영향 평가, 결과 평가까지 5-8단계로 구성되어 있다[35, 36]. 한편, Intervention Mapping은 Precede-Proceed 모형과 유사한 프로그램 계획 모형으로 프로그램 설계, 실행, 평가를 위한 문제 파악부터 해결까지 총 6단계로 구성된 프레임워크이며, 각 단계는 (1), 니즈 분석 및 문제 파악, (2) 변화 목표 매트릭스 제시, (3) 이론 기반 개입 선택, (4) 선택한 방법 적용, (5) 프로그램 채택, 실행, 유지를 위한 계획, (6) 평가 계획 생성으로 구성되어 있다[37]. Wierenga et al. [38]의 직장 건강 증진 프로그램의 과정 평가를 고찰한 연구에서는 Process evaluation for public health와 RE-AIM 모델 외에도 Integrative model, Durlak & Dupre의 모델, Baranowski & Stables의 모델, ‘Diffusion of Innovations’에 대한 Rogers의 프레임워크를 결합한 모델을 사용하였다. 신체활동 프로그램을 평가한 연구들의 평가 프레임워크 사용에 대해 고찰한 Fynn et al. [23]의 연구에서는 RE-AIM, Process evaluation for public health, Logic Model, Precede-Proceed, Intervention Mapping 프레임워크 외에도 Developing a process evaluation plan, MRC Guidance on evaluation of complex interventions, MRC Guidance on process evaluation, Realist evaluation, Outcome Model, CDC Framework, Evaluation: a Systematic Approach, Model of Implementation, WHO Process Evaluation Workbook, Swiss Model for Outcome Classification, Concepts in process evaluation 프레임워크가 사용되었다. 마지막으로 성인의 좌식 행동 프로그램을 수행한 연구들의 과정 평가 방법에 대해 고찰한 Johansson et al. [39]의 연구에서는 MRC Guidance, RE-AIM, Linnan & Steckler의 Process evaluation framework for public health, Developing a process evaluation plan, Process evaluations of cluster-randomized trials of complex interventions, WHO Process Evaluation Workbook이 사용되었다.

본 고찰에 포함된 체계적 문헌 고찰 연구는 신체활동에 초점을 맞춘 연구[23], 직장인 대상 스트레스 관리[24], 건강 위험 행동 예방 및 건강 증진 프로그램[38, 40], 좌식행동 프로그램에 초점을 맞춘 연구[39], 다양한 건강증진 프로그램을 포괄적으로 고찰한 연구[33, 34, 41], 교회 기반 건강 관련 프로그램에 초점을 맞춘 연구로 다양한 프로그램에 대한 평가 프레임워크 사용을 분석하였다[25] (Table 2, 3).

Process evaluation for public health 프레임워크 사용을 집중적으로 살펴본 Murta et al. [24]과 Yearly et al. [25]은 7개의 과정 평가 구성 요소 중 건강 증진 프로그램 과정 평가 시 평균 1~3개의 구성 요소가 측정된 것을 확인하였다. 한편, 교회 수준에서 실행된 연구들은 recruitment (88.1%), reach (80.6%), context (34.3%), dose delivered (28.4%), dose received (27.3%), implementation (20.9%), fidelity (9%) 순으로 과정 평가 구성 요소가 측정된 반면, 주로 개인 수준(78.8%)에 초점을 맞춘 Murta et al. [24]의 연구는 recruitment (30%), dose received (22%), attitudes toward intervention (19%), reach (13%), context (9%), fidelity (5%), dose delivered (2%) 순으로 과정 평가 구성 요소가 측정되었다. Linann & Steckler의 과정 평가 프레임워크는 신체활동 분야에서 사용된 16개의 프레임워크 중 세 번째로 빈번하게 사용되었으며 독립적인 프레임워크로 사용되는 것 보다는 다른 평가 프레임워크와 함께 사용되는 경우가 많았다[23].

직장 내 건강 증진 프로그램의 과정 평가를 분석한 Wierenga et al. [38]의 연구에서는 선정된 22편의 논문 중 단 8편의 논문이 과정 평가 프레임워크를 사용하였다. 8편의 논문 중 4편이 Linann & Steckler의 과정 평가 프레임워크를 사용하였고, 나머지 4편이 각각 RE-AIM 모델, Durlak & Dupre의 모델, Baranowski & Stables의 모델, ‘Diffusion of Innovations’에 대한 Rogers의 프레임워크를 결합하여 사용하였다. 평균적으로 보고된 평가 요소 8개 중 3.9개의 요소가 보고되었으며, dose received (82%), dose delivered (68%), context (68%), fidelity (41%), satisfaction (41%), reach (32%), recruitment (23%) 순으로 사용되었다.

성인의 좌식 행동을 결과 변인으로 측정한 논문들의 과정 평가 절차를 살펴본 Johansson et al. [39]의 연구에서는 과정 평가를 실시한 17편의 연구 중 평가 프레임워크를 사용한 연구는 13편(76.5%)으로 확인되었다. MRC Guidance(23.5%)와 RE-AIM(23.5%) 프레임워크가 가장 빈번하게 사용되었고, Linnan & Steckler의 과정 프레임워크가 3편(17.6%)의 연구에서 사용되었다. 그 다음으로는 Developing a process evaluation plan, Process evaluations of cluster-randomized trials of complex interventions, Process Evaluation Workbook by WHO가 각각 1편(5.9%)의 연구에서 사용되었다. 각 프레임워크는 단독으로 사용되기도 했지만 주로 두 개 이상의 프레임워크가 함께 사용된 것으로 확인되었다.

PRECEDE-PROCEED 프레임워크의 사용을 분석한 Kim et al. [41]의 연구는 해당 프레임워크를 세 영역으로 분류하여 건강 증진 프로그램의 평가로 어떤 영역이 포함되었는지 알아보았다. 고찰된 26편의 연구 중 8편(30.8%)이 프로그램 설계 및 계획(planning) 영역에서 사용되었고, 2편(7.7%)의 연구가 실행(implementation)과 평가(evaluation) 영역을 함께 사용하였으며, 16편(61.5%)의 연구가 세 영역을 모두 사용한 것으로 확인되었다. PRECEDE-PROCEED 모델은 신체활동 분야에서 사용된 16개의 프레임워크 중 8번째로 빈번하게 사용되는 것으로 나타났다[23].

직업 안전 및 건강 영역에서의 Intervention mapping(IM) 사용을 분석한 Bakhuys Roozeboom et al. [40]은 핵심 IM 특성(참여, 이론 기반 접근, 생태학적 접근, 실행 계획)과 관련하여 IM 프로토콜 사용의 충실도를 분석하였다. 먼저 참여와 관련하여 12개의 연구 중 오직 2개의 연구가 다양한 이해관계자를 구축하는 과정을 언급하였다. 다른 연구들도 프로그램 관련 이해관계자에 대한 내용을 포함하긴 하였으나 IM에서 제시한 순서에 적합하게 보고하지 않았다. 이론 기반 접근과 관련해서는 모든 연구가 니즈 평가를 실시하였으나 1단계에 해당하는 인과적 경로 언급은 12개의 개입 중 11개의 개입에서 언급되었다. 또한 12개 연구 중 5개의 연구가 2단계에 해당하는 변화 목표 매트릭스를 작성하였고, 모든 연구가 3단계에 해당하는 이론 및 근거 기반 변화 방법 선택에 대해 보고하였다. 10편의 개입 연구가 3단계에 해당하는 변화의 로직 모델을 수행하는 과정에서 행동과 환경 요인을 구분하였고, 모든 연구가 4단계에 해당하는 근로자뿐만 아니라 환경적 맥락(예: 직장)을 대상으로 하는 두 구성 요소를 모두 포함하였다. 마지막으로 단 1편의 연구가 잠재적 프로그램 사용자를 식별하였고, 나머지 연구들은 채택자와 실행자는 식별했으나 유지자를 식별하지 않은 것으로 나타났다. 또한 한 편의 연구가 프로그램 실행을 위한 성과 목표를 수립하였고, 7개의 연구는 실행 동력과 장벽을 식별하였으며, 11개 연구가 프로그램을 실행하기 위한 개입을 설계하였다. Bakhuys Roozeboom et al. [40]의 고찰에 포함된 12개의 연구는 모두 IM 프레임워크의 모든 단계를 평가하지 않은 것으로 나타났으며, 신체활동 연구 분야의 평가 도구로 빈번하게 사용되지 않는 것으로 나타났다[23].

건강 증진 분야의 RE-AIM 프레임워크 사용을 분석한 연구 중 Gaglio et al. [42]은 신체활동 및 비만(36.6%), 질병 자가 관리(29.6%), 흡연 및 약물 남용(9.9%), 정신 건강 및 치매(1.4%), 암 예방(1.4%), 다중 주제(14.1%)를 대상으로 한 건강 증진 프로그램의 RE-AIM 프레임워크 사용을 분석하였다. 해당 분야의 71편의 연구 중 RE-AIM 프레임워크는 대상자 모집 및 선정(91.5%), 실행(90.1%), 효과(77.5%), 수행기관 특성(기관 차원: 75.3%), 수행기관 특성(직원 차원: 74.6%), 지속(조직 차원: 71.8%), 지속(개인 차원: 64.8%) 순으로 각 차원이 보고되었다. 한편, Harden et al. [33]은 Gaglio et al. [42]의 연구에서 RE-AIM의 다섯 가지 차원을 모두 보고한 44개 연구와 이후 연구들을 바탕으로 일반적으로 보고되는 RE-AIM의 각 차원을 평가하였다. 신체활동 참여 및 식습관 개선(32%), 흡연 및 약물 남용(15%), 신체활동 단독(10%) 질병 자가 관리(5%), 식이(5%), 체중(2%) 등의 분야에서 RE-AIM 프레임워크는 대상자 모집 및 선정, 효과, 실행, 수행기관 특성, 지속(기관 차원), 지속(개인 차원) 순으로 보고되었고, 이는 선행 연구인 Gaglio et al. [42]의 연구와 비슷하지만 효과와 실행 차원 보고에 있어 약간의 차이를 보였다. Harden et al. [33]의 연구에서 고찰한 101편의 연구 중 RE-AIM 프레임워크의 다섯 가지 차원이 하나라도 포함된 연구의 개입 수는 82편으로 확인되었다. 그러나 각 차원에 해당하는 지표들의 측정 비율은 저조하였다. 대상자 모집 및 선정의 지표들을 모두 측정한 연구는 17%로 나타났으며, 단 한 편의 연구가 효과에 해당하는 지표들을 모두 측정하였다. 개인 차원의 지속에 해당하는 세 가지 지표를 모두 측정한 연구는 한 편도 없었으며, 한 편의 연구가 조직 차원의 수행기관 특성에 해당하는 여섯 가지 지표를 모두 측정하였고, 마찬가지로 한 편의 연구가 실행에 해당하는 지표들을 모두 측정하였다. 마지막으로 조직 차원의 지속에 해당하는 지표를 모두 측정한 연구는 단 한 편도 없는 것으로 나타났다. 가장 최근 RE-AIM 프레임워크 사용을 분석한 D’Lima et al. [34]은 RE-AIM 프레임워크를 사용한 최신 문헌들을 종합하고 현실 활용 (프레임워크의 부분적 적용) 및 보고 내용을 분석하였다. D’Lima et al. [34]이 고찰한 155편의 연구 중 RE-AIM 프레임워크의 다섯 가지 차원을 모두 보고한 연구는 69%로 나타났으며, 4개 차원을 언급한 연구는 3.5%, 3개는 6.5%, 2개는 5.2%, 1개만 언급한 연구는 5.8%로 나타났다. 다섯 개의 차원 중 대상자 모집 및 선정이 92.9%로 가장 빈번하게 보고되었으며, 다음으로는 실행(90.%), 수행기관 특성(89.7%), 효과(84.7%), 지속(77.4%) 순으로 보고되었다. D’Lima et al. [34]은 이러한 RE-AIM 평가 프레임워크의 보고 수치를 선행 연구인 Gaglio et al. [42]의 연구와 비교하였고 결과적으로 다섯 가지 차원의 보고 비율이 이전보다 증가한 것을 알 수 있었다. D’Lima et al. [34]은 157개의 연구들 중 15편(10%)의 RE-AIM 연구를 무작위로 선정하여 심층 분석한 결과, 9편의 연구가 RE-AIM의 다섯 가지 차원을 모두 평가하였으나 다섯 가지 차원 중 하나라도 평가하지 않은 나머지 6편의 연구 중 4편의 연구가 RE-AIM의 특정 차원을 평가하지 않은 이유를 설명하지 않았다고 보고하였다. 한편, RE-AIM 프레임워크는 69편의 신체활동 증진 연구에서 사용된 16개의 평가 프레임워크 중 가장 활발히 사용되었으며(39.1%), 다른 평가 프레임워크와 함께 사용되지 않고 주로 단독으로 사용되는 것으로 확인되었다[23].

Linann & Steckler의 과정 평가 프레임워크의 사용을 분석한 Yearly et al. [25]은 과정 평가 구성 요소의 측정 평균이 흡연, 심혈관 건강, 식습관 및 체중 조절, 암, 당뇨, 정신건강, 일반 건강 증진 프로그램 순으로 높게 나타났으나, 프로그램 특성(대상 인구, 대상 건강 상태, 프로그램 목표 등)에 따른 평가 요소의 측정 개수에는 차이가 없다고 보고하였다[25].

직장 수준에서 실행된 22편의 건강 증진 개입 연구 중 7편의 연구는 개입 실행의 dose와 fidelity가 높을수록 주요 결과 변인에 긍정적인 영향을 미친다고 보고하였다. 그러나 7개의 연구 중 단 3편이 평가 프레임워크를 적용한 연구로 확인되었다[38]. Johansson et al. [39]은 MRC Guidance 프레임워크를 바탕으로 성인의 좌식행동 개입 연구들을 평가한 결과, 개입 전달, 상황적 요인, 개인적 요인, 방해 요인, 촉진 요인에 의해 좌식 행동 변화가 나타났다고 보고하였다. 또한 과정 평가를 실행한 17편의 좌식행동 개입 연구 중 3편의 연구가 좌식 행동을 감소시키는데 효과적이었다고 보고하였다. 그러나 3편 모두 평가 프레임워크를 적용하지 않은 것으로 나타났다[39].

Bakhuys Roozeboom et al. [40]은 IM 프로토콜 사용의 충실도를 분석함과 동시에 개입 실행 과정을 평가하기 위해 Linann & Steckler의 과정 평가 요소에 만족(satisfaction) 요소를 추가하여 IM 프레임워크를 사용한 연구들의 평가 지표 사용을 평가하였다. Reach를 측정한 8편의 연구 중, 3편(37.5%)의 연구가 훌륭한 수준으로 reach를 보고하였으며, 5편(62.5%)의 연구가 불만족스러운 수준으로 reach를 보고하였다. dose delivered에 대한 정보를 보고한 8편의 연구 중, 6편(75%)의 연구는 우수, 2편(25%)의 연구는 보통 수준으로 dose delivered를 보고하였다. 한 편의 연구를 제외한 모든 연구에서 dose received를 보고하였고, 이 중 1편(9.1%)의 연구만 우수한 수준으로 dose received를 보고하였으며, 7편(63.6%)의 연구는 보통 수준, 3편(27.3%)의 연구는 불만족스러운 수준의 dose received를 보고하였다. fidelity는 8편의 연구에서 보고되었으며, 이 중 1편(12.5%)의 연구에서만 만족스러운 충실도를 보고하였다. 개입 만족도와 관련된 satisfaction은 10편의 연구에서 보고되었으며, 그 중 1편(10%)은 훌륭한 수준, 8편(80%)은 만족스러운 수준, 나머지 1편(10%)은 보통 수준의 만족도를 보고하였다. 또한 IM 충실도에 따른 실행 과정 및 개입 효과 간의 유의미한 관계성은 없다고 보고하였다.

PRECEDE-PROCEED 프레임워크를 적용한 연구들의 개입 효과는 1차 결과 측정 변인, 즉 지식 관련 변인만 유의미한 것으로 나타났다[41].

RE-AIM의 지표 중 참여자 비율을 정확하게 보고한 연구는 45%로 나타났다. 개별 행동 결과에 대한 효과를 정확하게 보고한 연구들 중 89%는 긍정적 변화를, 11%는 무효 결과를 보고하였다. 프로그램 종료 6개월 후의 개입 효과는 9편(11%)의 연구에서 보고되었으며, 9편 모두 개입 전에 비해 긍정적인 효과가 있는 것으로 나타났다. 평균 조직 차원 및 직원 차원의 수행기관 비율은 각각 75%와 79%로 나타났으며, 조직 차원의 지속 비율은 불충분한 자료로 인해 측정하지 못한 것으로 나타났다[33]. 한편, Gaglio et al. [42]은 RE-AIM의 누락된 평가 기준에 대해 언급하지 않은 반면, D’Lima et al. [34]은 하위 분석을 통해 RE-AIM 프레임워크를 사용한 연구들의 누락된 주요 평가 기준을 파악하였다. (1) 제외된 참여자의 비율 및 이유, (2) 공중보건 목표와 관련된 주요 결과 측정, (3) 수행기관에 대한 직원 제외 비율 및 이유, (4) 충실도를 위한 완벽한 전달 및 비율, 그리고 (5) 하위 그룹의 장기 효과와 관련된 데이터가 몇몇 연구에서 누락된 것으로 확인되었다.