여기까지 당신은 수천 편을 거르고, 수십 편의 데이터를 추출하고, 각 연구의 편향을 평가했다. 이제 이 모든 것을 하나의 통합된 이야기로 엮어야 한다. 이것이 합성(synthesis)이다. 그리고 본 튜토리얼이 다루는 SR은 메타분석을 포함하지 않는다. 이것이 약점이 아니라 의도된 선택임을 독자에게 설득력 있게 보여야 한다.

가장 흔한 오해

“메타분석 없는 SR은 결국 narrative review 아닌가?”라는 오해를 만난다. 답은 “아니다”. 메타분석 없는 SR에서도 합성은 엄격한 규칙을 따른다. 이 규칙이 narrative review와 SR을 가른다.

본 파트가 끝나면 당신은 다음을 갖게 된다:

1. Popay et al. 4단계 narrative synthesis 프레임워크에 따른 합성 계획
2. SWiM 가이드라인 9개 항목을 모두 충족하는 보고
3. 포함 연구들의 결과를 구조화한 합성 표
4. Effect direction plot 또는 harvest plot (시각적 합성)
5. 이질성의 임상적/방법론적/통계적 서술
6. 사전 선언된 하위그룹 분석 결과
7. Summary of Findings 표 (Part 8의 GRADE로 이어짐)

7.1 왜 메타분석을 하지 않는가

먼저 이 질문에 명확히 답해야 한다. 프로토콜에도, 최종 논문에도 이 논증이 필요하다.

7.1.1 메타분석 비적용의 정당한 이유

8. 임상적 이질성이 높음: 진단 기준, 인구, 세팅, 중재가 질적으로 다름
9. 방법론적 이질성이 높음: 측정 도구가 서로 다름 (MCCB vs BACS vs 개별 과제)
10. 통계적 이질성: 효과 크기가 너무 달라 pooling이 평균으로 의미 손실
11. 결과 보고 형식의 다양성: 일부는 평균SD, 일부는 중앙값, 일부는 효과 크기만
12. 포함 연구 수 부족: 10편 미만이면 일부 분석에서 통계적 검정력 부족
13. 질문의 성격이 기술적: “얼마나 다른가”가 아니라 “어떤 영역에서 다른가”

📌 예시: 본 튜토리얼 예시 SR의 메타분석 비적용 근거 본 SR은 메타분석을 계획하지 않는다. 그 이유는 다음과 같다. 첫째, 포함 연구들은 MCCB, BACS, CANTAB, 개별 신경심리 과제 등 서로 다른 측정 도구를 사용하며, 동일 영역을 측정하더라도 도구 간 비교 가능성이 제한적이다. 둘째, CHR 진단 기준(SIPS/SOPS vs CAARMS vs BSIP)이 연구마다 다르며, 이는 임상적 이질성의 주요 원천이다. 셋째, 본 SR의 목적은 단일 효과 크기를 추정하는 것이 아니라, 인지 영역별·측정 도구별 손상 프로파일을 기술하는 것이다. 따라서 Campbell et al. (2020)의 SWiM 가이드라인에 따라 구조화된 서술적 합성을 수행한다.

⚠ 흔한 실수: 잘못된 “메타분석 불가” 논증 다음은 정당한 이유가 아니다: •       “저자가 메타분석 방법을 모름” — 이것은 SR을 하지 말아야 할 이유 •       “소프트웨어가 없음” — R metafor, RevMan, CMA 등 무료/저가 도구 존재 •       “포함 연구가 많지 않음” — 2–3편도 메타분석 가능 (단, 해석에 주의) •       “결과가 일관되어 보임” — 그럴수록 메타분석이 유용 정당한 이유는 위의 6가지 — 임상적·방법론적·통계적 이질성, 보고 형식, 연구 수, 질문 성격. 이 중 최소 하나를 구체적 근거와 함께 제시하라.

7.2 Popay et al. 4단계 Narrative Synthesis 프레임워크

Popay et al. (2006)의 “Guidance on the conduct of narrative synthesis in systematic reviews”는 메타분석 없는 합성의 가장 체계적인 프레임워크다. 4단계로 구성된다.

7.2.1 4단계 개요

단계	명칭	활동
1	이론 개발	관찰된 효과/패턴을 설명하는 이론적 모델 수립. “왜 이런 차이가 생기는가?”
2	예비 합성	연구 특성 표, 결과 표, 텍스트 서술, 그룹화, 효과 방향 분석, 시각화
3	연구 간 관계 탐색	Moderator 분석 (하위그룹), 이질성의 출처 식별
4	합성의 강건성 평가	편향 위험 반영, 민감도 분석, 한계 명시

7.2.2 Popay 단계별 도구와 기법

각 단계에서 사용하는 구체적 기법:

단계 1 도구: 이론 개발

• Logic model 작성: 노출 → 매개변수 → 결과의 인과 경로
• Conceptual framework: 핵심 개념 간 관계 도식
• 이전 SR·종설의 이론적 논의 정리

단계 2 도구: 예비 합성

• Textual descriptions: 각 연구 1문단 요약
• Groupings: 공통 특성으로 연구 그룹화 (진단 기준별, 측정 도구별)
• Tabulation: 구조화된 결과 표
• Content analysis: 질적 결과의 주제 분석
• Frequencies: 특정 결과의 빈도 계산
• Effect direction: 각 연구의 효과 방향 요약
• Vote counting (제한적 사용): 효과 유의한 연구 수 세기

단계 3 도구: 관계 탐색

• Moderator 분석: 효과 크기의 차이를 연구 특성으로 설명
• 하위그룹 비교: 사전 선언된 그룹 간 결과 비교
• Concept mapping: 여러 개념 간 관계 매핑
• Idea webbing: 주요 발견들의 연결망

단계 4 도구: 강건성 평가

• Weight of evidence: 편향 위험별 결과 검토
• Reflection on synthesis: 합성 과정의 한계 성찰
• Consistency with prior evidence: 기존 문헌과의 일관성

7.3 SWiM 가이드라인 — 9개 항목

SWiM (Synthesis Without Meta-analysis)은 Campbell et al. (2020, BMJ)이 개발한 보고 가이드라인이다. 메타분석을 하지 않는 SR이 반드시 보고해야 하는 9개 항목을 정의한다. 이는 PRISMA를 보완한다.

7.3.1 SWiM 9개 항목

#	항목	보고 내용
1	연구 그룹화의 기준	어떤 기준으로 연구들을 그룹화했는가 (예: 측정 도구별, 진단 기준별). 사전 vs 사후 결정 명시.
2	표준화된 측정치	데이터 변환 방법 (예: Cohen’s d로 통일). 변환 공식과 근거.
3	합성 방법 선택	사용한 합성 방법 (narrative, effect direction, vote counting 등)과 선택 근거. 메타분석 미적용 이유.
4	결과 제시 방법	표, 그림, 텍스트 서술의 조합.
5	요약 통계량과 측정치의 보고	중앙값, 범위 등의 기술 통계. 효과 크기의 분포.
6	이질성의 보고	연구 간 효과 크기 차이의 묘사. 임상적/방법론적/통계적 구분.
7	결과의 확실성 평가	GRADE 또는 유사 도구로 근거 확실성 평가 (Part 8 연계).
8	데이터 시각화	Forest plot (가중 없음), harvest plot, effect direction plot 등.
9	결과의 해석 한계	합성 방법의 한계, 결론의 잠정성 명시.

💡 팁: SWiM 체크리스트 활용 BMJ 논문 supplementary에 공식 체크리스트(1쪽)가 제공된다. 논문 작성 시 이를 채워 제출하면 리뷰어의 신뢰를 얻는다. URL: bmj.com/content/368/bmj.l6890 (오픈 액세스) PRISMA 2020을 채우면서 동시에 SWiM 체크리스트도 채워라.

7.4 구조화된 합성 — 실전

이제 실제 합성 작업을 단계별로 본다. Popay와 SWiM을 통합한 접근이다.

7.4.1 Step 1: 연구 그룹화

포함된 수십 편의 연구를 바로 합성할 수 없다. 먼저 공통 특성으로 그룹화한다.

본 예시 SR의 그룹화 축:

14. 인지 영역별 (MCCB 7개 영역: 처리속도, 주의, 작업기억, 언어학습, 시각학습, 추론, 사회인지)
15. 측정 도구별 (MCCB, BACS, CANTAB, 개별 과제)
16. CHR 진단 기준별 (SIPS/SOPS vs CAARMS vs BSIP)
17. 추적 시점별 (baseline only vs longitudinal)
18. 약물 상태별 (medication-naive vs mixed)

⚡ 주의: 사전 선언된 그룹화만 사용 프로토콜(Part 2)에 사전 선언된 하위그룹만 합성에 사용하라. 결과를 본 뒤 “흥미로운 그룹”을 사후에 만들면 data dredging이다. 사후 탐색이 정당한 경우: •       탐색적(exploratory) 분석으로 명시적으로 표시 •       가설 생성용이지 가설 검증이 아님을 명시 •       다중 비교 보정은 하지 않더라도 탐색임을 강조

7.4.2 Step 2: 구조화된 결과 표

각 그룹 내에서 연구별 결과를 표로 정리한다. 이것이 합성의 기초가 된다.

📝 템플릿: 작업기억 영역 결과 표 (본 예시 SR)   Study n CHR/HC Criteria Instrument d [95% CI] RoB Notes Kim 2020 45/38 SIPS MCCB -0.86 [-1.29, -0.43] Low Medicated 42% Seidman 2016 324/265 SIPS MCCB -0.52 [-0.69, -0.35] Low NAPLS-2 Fusar-Poli 2012 78/80 CAARMS CANTAB SWM -0.71 [-1.02, -0.40] Mod Drug-naive Hauser 2017 52/49 CAARMS n-back -0.43 [-0.83, -0.03] Mod IQ matched   요약: 작업기억 영역에서 모든 연구가 CHR군의 저하를 일관되게 보고. 효과 크기 범위 d = -0.43 ~ -0.86, 중앙값 약 -0.62 (medium to large).

7.4.3 Step 3: 서술적 요약

각 그룹에 대해 다음 요소를 포함하는 서술적 요약을 작성한다:

19. 포함된 연구 수
20. 효과 방향의 일관성 (모두 음수? 혼재?)
21. 효과 크기의 범위와 중앙값
22. 통계적 유의성을 보고한 연구의 비율
23. 이질성의 원천 (진단 기준, 도구, 약물 상태)
24. 편향 위험과 결과 관계

📌 예시: 작업기억 결과의 서술적 요약 예시 작업기억 영역에는 17편의 연구(총 CHR n = 1,234, HC n = 1,156)가 포함되었다. 모든 연구(17/17)가 CHR군에서 HC 대비 저하를 보고했다. 효과 크기의 범위는 d = -0.43에서 -0.98 (중앙값 -0.62; IQR -0.48 ~ -0.78)로 중-큰 크기의 저하를 시사한다. MCCB를 사용한 8편은 d = -0.51 ~ -0.86 (중앙값 -0.62)이었고, CANTAB을 사용한 5편은 d = -0.43 ~ -0.71 (중앙값 -0.58), 개별 과제(n-back, digit span)를 사용한 4편은 d = -0.46 ~ -0.98 (중앙값 -0.67)이었다. SIPS/SOPS 진단(11편)과 CAARMS 진단(6편) 간 체계적 차이는 없었다. 약물 미복용 코호트(4편)와 혼합 코호트(13편)의 효과 크기에 명확한 차이는 관찰되지 않았다. 편향 위험 Low인 연구(8편)의 결과(중앙값 d = -0.55)가 편향 위험 Moderate/High (9편, 중앙값 d = -0.68)보다 다소 낮았으나, 방향과 규모는 일관되었다.

7.5 시각적 합성 도구

텍스트 서술만으로는 한계가 있다. 독자가 한눈에 패턴을 파악하도록 시각화를 병용한다.

7.5.1 Forest plot (가중 없음)

메타분석을 하지 않아도 forest plot은 유용하다. 각 연구의 효과 크기와 CI를 나란히 배치하되, pooled effect는 표시하지 않는다.

작성 방법:

25. R의 metafor 패키지 또는 ggplot2로 작성
26. 가중평균 제외 (“No pooled effect”)
27. 편향 위험을 색상 또는 기호로 표시
28. 그룹별 (예: 도구별)로 분할해 제시

💡 팁: Forest plot의 이점 (메타분석 없어도) •       각 연구의 불확실성(CI 넓이)을 시각적으로 전달 •       효과 방향의 일관성을 즉각 파악 가능 •       이질성의 크기를 직관적으로 보여줌 •       독자가 가중평균 계산 없이도 패턴 이해 단, pooled diamond를 그리지 마라. 대신 “no pooled estimate” 또는 중앙값만 참고선으로 표시.

7.5.2 Harvest plot

Ogilvie et al. (2008)이 개발. 복잡한 중재나 결과에서 증거의 패턴을 시각화. 특히 연구 설계·질·결과 방향을 동시에 표시.

구조:

• x축: 하위그룹 또는 중재 유형
• y축: 결과 카테고리 (positive, null, negative)
• 막대: 각 연구를 막대 하나로 표현
• 막대 높이: 연구의 편향 위험 또는 표본 크기 반영
• 막대 색: 추가 특성 (예: 진단 기준)

📌 예시: CHR 인지 영역별 harvest plot 구조 (텍스트 표현) 영역:        처리속도   주의   작업기억   언어학습   시각학습   추론   사회인지  Effect size range:   Large (d>0.8):   ▓▓      ▓      ▓▓▓       ▓         ▓        ▓      ▓▓   Medium:         ▓▓▓▓▓   ▓▓▓▓   ▓▓▓▓▓▓    ▓▓▓▓     ▓▓▓▓     ▓▓▓   ▓▓▓▓   Small:          ▓▓      ▓▓▓    ▓▓        ▓▓▓      ▓▓       ▓▓    ▓▓   Null:           ▓       ▓      ▓         ▓▓       ▓        ▓▓    ▓   Reverse:        ·       ·      ·         ·        ·        ·     ·  (각 ▓ = 1 연구. 색 음영은 편향 위험 — 진함=Low, 연함=High) 해석: 모든 영역에서 medium-large 효과가 우세. 사회인지는 상대적으로 다양한 효과 크기 보임.

7.5.3 Effect Direction Plot

Thomson & Thomas (2013), SWiM 가이드라인에서 권장. 효과 방향(유리/불리/불확실)을 그룹별로 집계하여 heatmap 형태로 표시.

구조:

• 행: 각 연구
• 열: 각 outcome 영역
• 셀 기호: ↑ (유리), ↓ (불리), ↔ (변화 없음), ? (불확실)
• 셀 색: 효과 크기 또는 편향 위험

7.5.4 Albatross Plot

Harrison et al. (2017). p-value와 표본 크기만 있는 연구를 통합하는 데 유용. CHR 연구에서 평균·SD 없이 p-value만 보고된 경우 활용.

구조:

• x축: 효과의 방향과 크기 (log scale)
• y축: 표본 크기
• 등효과선(contour): 특정 효과 크기에서의 p-value와 n의 관계
• 각 연구를 점으로 플롯 → 효과 크기 추정

💡 팁: 시각화 도구 •       Forest plot (가중 없음): metafor::forest() with weights = “none”, 또는 ggplot2 •       Harvest plot: 직접 ggplot2 작성. 템플릿은 Turner et al. (2021) 참고 •       Effect direction plot: SWiM 가이드라인 Figure 2 참고 •       Albatross plot: R package albatross (Harrison et al.) 모든 시각화는 출판 품질 (해상도 300+ dpi, 색맹 친화 팔레트)로 작성. matplotlib/ggplot2 권장.

7.6 Vote Counting — 제한적 사용

Vote counting은 “유의한 효과 vs 유의하지 않은 효과”의 연구 수를 세는 방법이다. 유혹적이지만 문제가 많다. SR에서는 원칙적으로 사용하지 말고, 불가피할 때만 매우 제한적으로 사용한다.

7.6.1 Vote counting의 문제점

29. 표본 크기 무시: n=500 연구와 n=30 연구를 동등하게 계산
30. 효과 크기 무시: 유의하지만 d=0.2인 연구와 d=0.8인 연구를 동등 취급
31. 출판 편향에 매우 취약: 유의한 결과가 더 출판되므로 “유의” 쪽이 부풀려짐
32. 검정력 부족 무시: 표본 작아서 유의하지 않은 연구도 “null”로 카운트
33. 해석의 오도: 소수 연구가 유의하지 않음 → “효과 없음”으로 잘못 결론

7.6.2 개선된 Vote Counting — 방향만 집계

SWiM 가이드라인과 Cochrane은 “direction of effect” 기반 vote counting을 제한적으로 허용한다. 이는 “유의/비유의”가 아니라 “유리 방향 vs 불리 방향”을 세는 것이다.

방법:

34. 각 연구의 효과 방향 식별 (효과 크기의 부호)
35. p-value 무시, 방향만 고려
36. sign test로 방향의 일관성 검정 (이항 검정)
37. 예: 17/17 연구가 음수 → p < 0.001 (sign test)

⚡ 주의: Vote counting 사용 시 보고 사항 사용할 경우 반드시 다음을 명시: •       사용 이유 (보통 “meta-analysis 불가능” + “방향만 관심”) •       방향 기반만 사용 (p-value 기반 아님) •       Sign test 결과와 그 한계 •       Direction of effect plot으로 시각화 병행 •       결론의 해석에서 vote counting의 한계 강조

7.7 이질성의 서술

메타분석이 없어도 이질성은 중요한 이슈다. 오히려 이질성이 높기 때문에 메타분석을 하지 않는 것이므로, 이질성을 체계적으로 기술하는 것이 핵심 과업이다.

7.7.1 이질성의 3가지 유형

유형	정의	CHR 인지 SR에서의 예
임상적 이질성	참여자, 중재, 결과 정의의 질적 차이	SIPS vs CAARMS, 약물 복용 여부, 연령대
방법론적 이질성	연구 설계, 편향 위험, 측정 방법의 차이	MCCB vs CANTAB, 단면 vs 종단, blind 여부
통계적 이질성	효과 크기의 연구 간 분산	d = -0.3 ~ -0.9의 범위, I² 개념적 적용

7.7.2 이질성 서술의 구조

각 outcome에 대해 다음 순서로 서술:

38. 관찰된 효과 크기 범위와 분포
39. 임상적 이질성의 원천과 그 영향
40. 방법론적 이질성의 원천과 그 영향
41. 통계적 이질성의 정도 (정성적 기술)
42. 이질성이 결과 해석에 주는 함의

📌 예시: 이질성 서술 예시 (작업기억) 작업기억 결과에서 효과 크기는 d = -0.43에서 -0.98로 상당한 분산을 보였다. 이 이질성의 주요 원천은 다음과 같다. 첫째, 임상적으로는 CHR 진단 기준의 차이(SIPS n=11, CAARMS n=6)가 효과 크기에 어느 정도 영향을 주었을 가능성이 있으나, 두 기준 간 중앙값 차이는 크지 않았다(SIPS 중앙값 -0.62 vs CAARMS -0.58). 둘째, 방법론적으로는 측정 도구의 차이가 주요 원인으로, MCCB는 작업기억을 종합 점수로 측정하는 반면 개별 n-back이나 CANTAB SWM은 특정 하위 기능을 측정한다. 도구별 효과 크기 중앙값은 MCCB(-0.62) > CANTAB(-0.58) > 개별 과제(-0.67)로 유사하나, 개별 과제는 분산이 더 컸다(-0.46 ~ -0.98). 셋째, 통계적으로는 신뢰구간이 작은 연구들 간에도 효과 크기 편차가 있어, 우연으로만 설명되지 않는 실질적 이질성(substantive heterogeneity)이 존재한다. 이 이질성은 CHR 집단 자체의 이질성(예: APS vs BLIPS vs GRD 구성 비율)과 코호트별 특성(모집 기관, 약물 상태 분포) 차이를 반영할 수 있다.

7.8 하위그룹 합성과 민감도 분석

7.8.1 사전 선언된 하위그룹

프로토콜(Part 2)에 사전 선언한 하위그룹만 분석한다. 본 예시 SR의 사전 선언된 하위그룹:

• CHR 진단 기준 (SIPS vs CAARMS)
• 약물 상태 (drug-naive vs medicated)
• 측정 도구 (MCCB vs 기타)
• 편향 위험 (Low vs Moderate/High)

각 하위그룹별로:

43. 포함된 연구 수
44. 효과 크기의 중앙값과 범위
45. 방향의 일관성
46. 하위그룹 간 차이의 정성적 비교

7.8.2 민감도 분석

결과의 강건성을 확인하는 분석. 메타분석 없어도 가능하다.

• 편향 위험 기반: 고편향 연구 제외 시 결과 변화 확인
• 표본 크기 기반: 소표본(n<30) 제외 시 결과 변화
• 측정 도구 기반: MCCB만 포함 시 결과
• 진단 기준 기반: SIPS만 포함 시 결과

📌 예시: 민감도 분석 표 예시 분석 연구 수 중앙값 d 범위 주 분석 (전체) 17 -0.62 -0.43 ~ -0.98 편향 Low만 8 -0.55 -0.43 ~ -0.72 n > 50만 11 -0.60 -0.43 ~ -0.86 MCCB만 8 -0.62 -0.51 ~ -0.86 SIPS만 11 -0.62 -0.43 ~ -0.86 해석: 모든 민감도 분석에서 방향과 크기 일관. 결과는 강건(robust)함.

7.9 Summary of Findings (SoF) 표

SR의 결론을 한 페이지로 요약하는 표. GRADE 평가(Part 8)와 결합되어 가장 많이 인용되는 요소가 된다. 독자는 논문 전체를 안 읽어도 SoF 표만 보면 핵심을 파악할 수 있다.

7.9.1 SoF 표의 구조

각 primary outcome에 대해 한 행:

• Outcome 명칭과 측정 방법
• CHR군 결과 (평균, SD 또는 중앙값)
• HC군 결과
• 효과 크기 (d 범위 또는 중앙값)
• 포함 연구 수와 참여자 수
• 근거 확실성 (GRADE, Part 8)
• 해석 코멘트

📝 템플릿: SoF 표 예시 (본 예시 SR, 일부)   Outcome n Studies / n CHR Median d [range] GRADE Interpretation Working memory 17 / 1,234 -0.62 [-0.98, -0.43] Low ⊕⊕ Medium-large deficit, consistent Processing speed 14 / 1,089 -0.55 [-0.89, -0.31] Low ⊕⊕ Medium deficit, consistent Verbal learning 12 / 945 -0.48 [-0.83, -0.28] Low ⊕⊕ Small-medium deficit Social cognition 9 / 672 -0.41 [-0.72, 0.05] Very Low ⊕ Mixed findings, high heterogeneity

7.10 흔한 실수

⚠ 흔한 실수: 실수 1 — 메타분석 미적용 이유를 명시 안 함 프로토콜과 논문에 “narrative synthesis”라고만 쓰고 이유 설명 없음. 리뷰어가 반드시 지적한다. 해결: 6가지 정당한 이유(임상적·방법론적·통계적 이질성, 보고 형식, 연구 수, 질문 성격) 중 해당하는 것을 구체적 근거와 함께 제시.

⚠ 흔한 실수: 실수 2 — 단순 text narrative로만 합성 포함된 각 연구를 1문단씩 요약 나열. 이것은 narrative review지 SR 합성이 아니다. 해결: (i) 구조화된 그룹화, (ii) 결과 표, (iii) 시각화(forest/harvest plot), (iv) 체계적 서술 — 이 4가지를 모두 포함.

⚠ 흔한 실수: 실수 3 — Vote counting에 p-value 사용 “17편 중 12편이 유의함(p<0.05)”로 결론. p-value 기반 vote counting은 출판 편향과 검정력 차이에 심각하게 취약. 해결: Direction of effect 기반 vote counting만 제한적으로 사용. sign test 결과와 한계를 함께 보고.

⚠ 흔한 실수: 실수 4 — 사후 하위그룹 분석을 사전인 것처럼 보고 결과를 본 뒤 “흥미로운” 하위그룹을 만들고 프로토콜에 있는 것처럼 서술. 해결: 사전 선언 하위그룹(프로토콜에 기록)과 사후 탐색을 명확히 구분. 사후는 exploratory로 명시하고 결론의 근거로 쓰지 않음.

⚠ 흔한 실수: 실수 5 — 이질성 서술 생략 “이질성이 높아 메타분석 불가능”으로만 쓰고 이질성의 구체적 원천을 논의 안 함. 해결: 임상적/방법론적/통계적 이질성을 각각 구체적으로 서술. 어떤 연구 특성이 효과 크기의 분산을 설명하는지 탐색.

⚠ 흔한 실수: 실수 6 — SoF 표 없음 결과를 긴 text로만 제시. 독자가 핵심 요약을 찾기 어려움. 해결: Primary outcome별 SoF 표 반드시 포함. GRADE 평가(Part 8)와 결합하여 1페이지로 요약.

7.11 Part 7 산출물

47. 메타분석 미적용 근거 문서
48. 연구 그룹화 계획 (사전 선언)
49. Outcome별 구조화된 결과 표
50. 각 outcome의 서술적 요약 (3–5문단)
51. 시각화: Forest plot (가중 없음) 또는 harvest/effect direction plot
52. 이질성 서술 (임상적/방법론적/통계적)
53. 하위그룹 합성 결과
54. 민감도 분석 결과
55. Summary of Findings 표 (GRADE 포함 버전은 Part 8)
56. SWiM 체크리스트 (9개 항목 완성)

7.12 Part 7 종료 체크포인트

✔ 체크포인트: 자기 평가 체크리스트 합성 계획 ☐ 메타분석 미적용 이유가 구체적 근거와 함께 명시되었다. ☐ Popay 4단계 프레임워크를 따랐다. ☐ SWiM 9개 항목을 모두 충족한다. ☐ 연구 그룹화 기준이 사전에 선언되었다. 결과 제시 ☐ 각 outcome에 대한 구조화된 결과 표를 작성했다. ☐ 서술적 요약이 연구 수, 효과 범위, 중앙값, 이질성을 포함한다. ☐ 최소 하나의 시각화(forest/harvest/effect direction plot)를 포함했다. ☐ Forest plot 사용 시 pooled estimate를 제외했다. 이질성과 하위그룹 ☐ 임상적/방법론적/통계적 이질성을 모두 서술했다. ☐ 하위그룹 분석은 사전 선언된 것만 수행했다. ☐ 사후 탐색은 exploratory로 명시했다. ☐ 민감도 분석을 수행했다 (편향 위험 기반 등). Vote counting (사용 시) ☐ Direction of effect 기반으로만 사용했다 (p-value 아님). ☐ Vote counting의 한계를 명시했다. Summary of Findings ☐ Primary outcome별 SoF 표를 작성했다. ☐ GRADE 평가를 위한 준비가 되었다 (Part 8).

Part 7 주요 참고문헌

Boon, M. H., & Thomson, H. (2021). The effect direction plot revisited: application of the 2019 Cochrane Handbook guidance on alternative synthesis methods. Research Synthesis Methods, 12(1), 29–33.

Campbell, M., McKenzie, J. E., Sowden, A., et al. (2020). Synthesis without meta-analysis (SWiM) in systematic reviews: reporting guideline. BMJ, 368, l6890.

Harrison, S., Jones, H. E., Martin, R. M., Lewis, S. J., & Higgins, J. P. T. (2017). The albatross plot: a novel graphical tool for presenting results of diversely reported studies in a systematic review. Research Synthesis Methods, 8(3), 281–289.

McKenzie, J. E., & Brennan, S. E. (2023). Chapter 12: Synthesizing and presenting findings using other methods. In: Cochrane Handbook for Systematic Reviews of Interventions v6.4.

Ogilvie, D., Fayter, D., Petticrew, M., et al. (2008). The harvest plot: a method for synthesising evidence about the differential effects of interventions. BMC Medical Research Methodology, 8, 8.

Popay, J., Roberts, H., Sowden, A., et al. (2006). Guidance on the conduct of narrative synthesis in systematic reviews. ESRC Methods Programme.

Thomson, H. J., & Thomas, S. (2013). The effect direction plot: visual display of non-standardised effects across multiple outcome domains. Research Synthesis Methods, 4(1), 95–101.

Turner, L., Boutron, I., Hróbjartsson, A., Altman, D. G., & Moher, D. (2013). The evolution of assessing bias in Cochrane systematic reviews of interventions: celebrating methodological contributions of the Cochrane Collaboration. Systematic Reviews, 2, 79.

Valentine, J. C., Hedges, L. V., & Cooper, H. (Eds.) (2019). The Handbook of Research Synthesis and Meta-Analysis (3rd ed.). Russell Sage Foundation.