Part 4에서 최종 포함될 연구들이 확정되었다. 이제 이 연구들로부터 체계적이고 재현 가능한 방식으로 데이터를 추출해야 한다. 추출이 부정확하면 이후 모든 분석이 잘못된다. 쓰레기를 넣으면 쓰레기가 나온다(garbage in, garbage out).
이 파트가 끝나면 당신은 다음을 갖게 된다:
- 검증된 데이터 추출 양식 (파일럿 거쳐 정련된 것)
- 포함된 모든 연구의 구조화된 데이터셋
- 이중 추출의 일치도 기록
- 결측 데이터와 원저자 연락 기록
- 효과 크기가 통일된 형태로 계산된 데이터
- 연구 특성(characteristics) 표의 원시 데이터
5.1 데이터 추출 양식 설계
범용 양식이 존재하지만, SR마다 고유한 항목이 필요하다. 좋은 양식은 (i) 완전하고 (ii) 간결하며 (iii) 재현 가능해야 한다.
5.1.1 추출 양식의 기본 구조
모든 SR 추출 양식이 공통적으로 포함하는 6개 섹션:
| 섹션 | 포함 항목 |
| 1. 서지 정보 | 저자, 발행년도, 저널, 권/호, 페이지, DOI, 국가, 연구 수행 기간 |
| 2. 연구 설계 | 설계 유형(단면/종단/코호트), 모집 방식, 연구 세팅(외래/입원/지역사회), 단일/다기관, 기간 |
| 3. 참여자 특성 | 진단 기준·도구, 표본 크기(집단별), 연령, 성별, 교육, 인종·민족, 약물 상태, 동반이환, 배제 조건 |
| 4. 노출/중재 | (관찰연구) 노출 정의, 측정 방법 / (중재 연구) 중재 내용, 용량, 기간, 전달자, 비교군 중재 |
| 5. 결과 변수 | 측정 도구명·버전, 영역별 점수, 평균/중앙값, SD/IQR, 효과 크기, CI, p-value, 시점 |
| 6. 연구 품질/기타 | 재원, 이해상충, 윤리 승인, 등록번호(ClinicalTrials.gov 등), 저자 연락 여부, 추출자 이니셜·날짜 |
5.1.2 정신증 연구 특화 추출 항목
일반 SR 양식에 추가로, 정신증 SR에서는 다음 항목이 결정적이다:
| ⚡ 주의: 정신증 SR에서 반드시 추출해야 하는 것들
1. 진단 관련 • DSM 버전 (DSM-III-R, DSM-IV, DSM-5) 또는 ICD 버전 (ICD-10, ICD-11) • 구체적 진단 도구 (SCID-5, MINI, K-SADS, SIPS/SOPS, CAARMS) • CHR의 하위 유형 (APS, BLIPS, GRD) 각각의 n • Transition criteria 정의 (DSM-5 정신증 vs 특정 역치) 2. 증상/임상 특성 • 양성증상 척도 (PANSS-P, SOPS-P, BPRS-P) • 음성증상 척도 (PANSS-N, SANS, BNSS, SOPS-N) • 일반정신병리 (PANSS-G, SOPS-G, HAM-D) • 기능 평가 (GAF, SOFAS, WHO-DAS) • 질병 기간 (duration of untreated illness/psychosis) 3. 약물 상태 • 항정신병약 복용 여부 (medication-naive vs medicated) • 복용자 수와 비율 • 구체적 약물명 (olanzapine, risperidone, aripiprazole 등) • 용량 (chlorpromazine equivalent mg/day) • 복용 기간 • 기타 약물: 항우울제, 기분안정제, 벤조디아제핀, 자극제 4. 인지 측정 특유 • 사용 배터리 (MCCB, BACS, CANTAB, WAIS, 개별 과제) • MCCB 사용 시: 7개 영역별 T-score (표준화 점수) • 개별 과제 사용 시: 과제명, 버전, 종속 변수 • 실시 언어 (영어, 한국어 등) 및 번역판 여부 • 실시 시점 (baseline, follow-up) 5. 기타 • 물질 사용 이력 (특히 대마초) • IQ (WAIS, K-BIT 등) • HC 매칭 여부 (연령, 성별, 교육, IQ) • 추적 연구 시: 추적 기간, 추적 완료율, transition rate |
5.2 추출 도구 선택
도구 선택은 프로젝트 규모와 팀의 기술 수준에 따라 다르다.
| 도구 | 비용 | 장점 | 단점 |
| Excel/Google Sheets | 무료 | 친숙함, 유연한 커스터마이징, 학습 곡선 낮음 | 이중 추출 기능 없음, 오류 발생 쉬움, 버전 관리 어려움 |
| Covidence | 유료 (기관 구독) | 이중 추출·자동 비교, Cochrane 공식 도구, 스크리닝 연계 | 비용, 커스터마이징 제한, 국내 접근성 제한 |
| SRDR+ | 무료 (NIH) | 공개 저장소, 이중 추출, 양식 템플릿 공유 | 인터페이스 투박, 학습 필요, 사용자 적음 |
| REDCap | 기관에 따라 | 강력한 데이터 관리, 권한 관리, 감사 로그 | 기관 구독 필요, 설정 복잡 |
| EPPI-Reviewer | 유료 | 정성적·정량적 합성 통합, 복잡한 리뷰에 적합 | 비용, 학습 곡선 가파름 |
| 💡 팁: 본 튜토리얼의 권장 조합
소규모 팀 + 무료 도구 조합: • 스크리닝: Rayyan • 데이터 추출: Excel 또는 Google Sheets (템플릿 기반) • 추출 데이터 공유·백업: OSF 프로젝트 • 이중 추출 비교: 두 검토자의 Excel 파일을 스크립트(Python/R)로 비교 중형 이상 + 예산 있음: Covidence 권장 (스크리닝-추출-편향 평가 통합). |
5.3 Excel 추출 양식 설계 — 실전
Excel은 유연하지만 설계를 잘못하면 혼란스럽다. 다음 원칙을 따른다.
5.3.1 구조화 원칙
- 1 논문 = 1 행 (wide format) 원칙. 단, 동일 연구의 여러 하위그룹이 있으면 예외.
- 각 변수 = 1 열. 병합 셀 금지.
- 결측 표기 통일: 빈 셀 vs “NR” (Not Reported) vs “NA” (Not Applicable) 구분.
- 드롭다운 목록 사용 (Data Validation): 표기 불일치 방지.
- 추출자 이니셜과 추출 일자 열 포함 (추적 가능성).
5.3.2 시트 구조
권장 시트 구성:
- Sheet 1 — Study_info: 서지 정보, 연구 설계
- Sheet 2 — Participants: 참여자 특성 (진단, 인구통계, 약물)
- Sheet 3 — Outcomes: 결과 변수 (영역별, 시점별)
- Sheet 4 — Quality: 편향 평가 점수 (Part 6에서 채움)
- Sheet 5 — Notes: 특이사항, 원저자 연락 기록
- Sheet 6 — Codebook: 각 열의 정의, 허용 값, 코딩 규칙
| 📝 템플릿: Sheet 1 — Study_info 열 예시 (CHR 인지 SR)
|
| 📝 템플릿: Sheet 2 — Participants 열 예시
|
5.4 파일럿 추출 (Pilot Extraction)
스크리닝에서 pilot을 한 것처럼, 추출에서도 반드시 파일럿 추출을 수행하라. 생략하면 30편 추출 후 양식의 결함이 드러나 전체 재작업이 발생한다.
5.4.1 파일럿 절차
- 최종 포함 연구 중 3–5편 선정 (가능하면 다양한 유형 — RCT/관찰, 다른 도구 사용, 완전 보고/부분 보고)
- 메인 검토자와 보조 검토자가 독립적으로 추출
- 두 Excel 파일 비교 → 불일치 찾기
- 불일치 원인 분석:
- 양식 모호 → 열 정의 명확화
- 허용 값 부족 → 드롭다운 옵션 추가
- 단위 불일치 → 표준 단위 지정
- 계산 방식 차이 → codebook에 공식 명시
- 양식을 수정하고 3–5편 재추출
- 일치율이 만족스러우면 본 추출 시작
| 📌 예시: 파일럿 추출에서 발견되는 전형적 문제
• “약물 상태” 항목: 한 검토자는 논문에 명시 없으면 공란, 다른 검토자는 “NR”로 기록 → 통일 필요 • “연령”: 한 논문이 중앙값·IQR만 제공. 양식은 평균·SD만 상정 → 추가 열 필요 • MCCB 점수: T-score인지 원점수인지 구분 없음 → 열 이름을 “MCCB_WM_Tscore”, “MCCB_WM_Raw”로 분리 • CHR 하위유형: 논문마다 다르게 보고 (APS만, 또는 APS+BLIPS 합산) → 추출 규칙 명시 • 교육 년수 vs 교육 수준: 일부 논문은 “high school 12 yrs”, 다른 논문은 “범주: <12, 12, 13–15, 16+” → 단위 통일 방법 결정 |
5.5 이중 추출 (Dual Extraction)
PRISMA 2020과 Cochrane Handbook은 데이터 추출에도 2명의 독립적 추출자를 요구한다. 현실적 대안들이 있다.
5.5.1 이중 추출 방식의 선택
| 방식 | 이중 추출 범위 | 장단점 |
| 완전 이중 추출 | 100% (모든 연구) | 가장 엄격. 시간·인력 부담 큼. Cochrane 권장. |
| 일부 이중 추출 | 무작위 20–50% | 절충안. 일치도가 높으면 신뢰도 확보. 현실적. |
| 추출+검증 | 100% (검증만) | 1명이 추출, 다른 1명이 원문 대조 검증. 시간 절약. |
| 단일 추출 | 0% | 권장하지 않음. AMSTAR-2에서 감점. |
| 💡 팁: 추출+검증 방식의 실전 (권장)
본 튜토리얼의 팀 구성(메인 1 + 보조 1–2 + 슈퍼바이저)에서 가장 현실적: • 메인 검토자가 모든 연구를 1차 추출 • 보조 검토자가 원문을 보며 추출 데이터를 100% 검증 (값이 맞는지 확인) • 불일치 발견 시 기록 → 토론 → 합의 • 완전 이중 추출 대비 시간 30–50% 절약 • AMSTAR-2에서도 수용됨 (“verified by a second reviewer”) |
5.5.2 이중 추출 일치도 기록
다음 지표를 보고하라:
- 추출 항목 수: 총 항목 수 vs 불일치 항목 수
- 일치율 (percent agreement): 일치 항목 / 전체 항목 × 100
- 불일치 유형 분류: 오타, 단위 오류, 해석 차이, 원문 모호
- 해결 방식: 토론 합의 vs 슈퍼바이저 중재
| ⚡ 주의: 이중 추출 일치도가 낮을 때
일치율이 90% 미만이면 체계적 문제를 의심하라: • 양식이 여전히 모호 → codebook 보강 • 검토자 간 훈련 부족 → 추가 파일럿 • 특정 유형의 논문(예: 중국어 논문의 번역 초록)에서만 불일치 → 해당 유형 전체 재검토 90% 이상 일치하는데 특정 변수에서만 문제 → 그 변수만 전체 재추출 |
5.6 결측 데이터와 원저자 연락
포함된 연구 중 상당수는 필요한 데이터를 완전히 보고하지 않는다. 흔한 상황:
- 평균만 보고하고 SD 누락
- 전체 n만 보고하고 집단별 n 누락
- 다른 통계량만 보고 (예: t-값은 있지만 효과 크기 없음)
- 그림(그래프)에만 표시, 수치 없음
- 하위그룹 데이터 미보고
5.6.1 결측 데이터 처리 순서
- 원문 정독 (본문, 표, 그림, supplementary 모두)
- 동일 연구의 다른 출판물 확인 (프로토콜 논문, 다른 결과 논문)
- 등록 사이트 확인 (ClinicalTrials.gov에 결과 보고된 경우)
- 교신저자에게 이메일 요청
- 응답 없음 → 4주 후 재요청
- 응답 없음 → 다른 공저자에게 시도
- 최종 실패 → “NR”로 기록, 민감도 분석에서 해당 연구 배제 고려
5.6.2 원저자 연락 이메일 템플릿
| 📝 템플릿: 원저자 연락 이메일 (영문)
Subject: Data request for systematic review — [Study short title] Dear Professor [Lastname], I am writing on behalf of our research team at [Institution] regarding your 2020 paper, “[Full title]” published in [Journal]. We are conducting a systematic review on [topic], registered in PROSPERO (CRD42025XXXXXX). Your study meets our inclusion criteria and will be a valuable contribution. To fully incorporate your findings, we would be very grateful if you could share the following data: (1) [Specific missing item, e.g., “Mean and SD of the MCCB Working Memory T-scores for the CHR and HC groups separately”] (2) [If applicable: “The breakdown of CHR subtypes (APS, BLIPS, GRD) in your sample”] If the data are available as supplementary material or in a database, please direct us there. Otherwise, any format (PDF, Excel, raw numbers in the email body) is acceptable. We will fully acknowledge your contribution in the manuscript. Thank you very much for considering this request. Sincerely, [Your name], [Position] [Institution] [Email] |
| 💡 팁: 원저자 연락의 성공률
Stoll et al. (2019)의 연구에 따르면 원저자 연락 응답률은 약 50–65%. 그러나 다음 요인으로 달라진다: • 출판 연도: 최근 5년 이내 논문 응답률 > 10년 이상 지난 논문 • 저자의 현재 소속: ResearchGate/ORCID로 현재 이메일 확인 필수 • 명확한 요청: 구체적 데이터 명시 시 응답률 ↑ • 응답 기한: “응답해주시면 감사합니다” vs “3주 내 응답 부탁드립니다” (후자가 더 효과적) 연락 기록은 반드시 보관: 연락 일자, 이메일 주소, 응답/무응답, 받은 데이터. |
5.7 효과 크기 (Effect Size) 계산과 통일
서로 다른 연구가 결과를 다양한 형식으로 보고한다. 합성을 위해서는 통일된 효과 크기로 변환해야 한다.
5.7.1 정신증 인지 SR에서 흔한 효과 크기
| 효과 크기 | 용도 | 해석 |
| Cohen’s d | 두 집단 평균 차이 (연속 변수) | 0.2=small, 0.5=medium, 0.8=large. 두 집단 SD pooled 가정. |
| Hedges’ g | Cohen’s d의 소표본 보정 | n<20인 경우 권장. Cohen’s d와 유사하게 해석. |
| Glass’s Δ | 대조군 SD만 사용 | SD가 집단 간 크게 다를 때. 예: 치료군이 HC보다 SD 훨씬 큼. |
| Odds Ratio (OR) | 이분변수 (예: transition 여부) | 1이 참조값. 신뢰구간 주의. |
| Risk Ratio (RR) | 위험 비율 | 코호트 연구. 발생률 비교. |
| Hazard Ratio (HR) | 사건-시간 분석 | 추적 연구의 transition 분석. |
5.7.2 Cohen’s d 계산
CHR 인지 SR에서 주로 사용할 효과 크기. 계산 공식:
Cohen’s d = (M_CHR – M_HC) / SD_pooled SD_pooled = sqrt( ((n_CHR – 1) × SD_CHR² + (n_HC – 1) × SD_HC²) / (n_CHR + n_HC – 2) ) 부호 규칙 (본 SR): 음수 = CHR군이 HC군보다 저하 (인지 손상 존재) 양수 = CHR군이 HC군보다 우수 (드묾)
| 📌 예시: Cohen’s d 계산 예시
Kim et al. 2020 보고: • CHR: n=45, Working Memory T-score M=42.3, SD=9.8 • HC: n=38, Working Memory T-score M=50.1, SD=8.2
SD_pooled = sqrt( ((45-1)×9.8² + (38-1)×8.2²) / (45+38-2) ) = sqrt( (44×96.04 + 37×67.24) / 81 ) = sqrt( (4225.76 + 2487.88) / 81 ) = sqrt( 82.88 ) = 9.10 Cohen’s d = (42.3 – 50.1) / 9.10 = -0.86 해석: CHR군이 HC군 대비 작업기억에서 큰 수준(|d| > 0.8)의 저하를 보임. |
5.7.3 다른 통계량으로부터 Cohen’s d 계산
논문이 평균·SD 대신 다른 통계량만 보고하는 경우, 변환이 필요하다. Lipsey & Wilson (2001), Borenstein et al. (2009) 공식 참조.
| 보고된 통계량 | Cohen’s d 변환 공식 |
| t-statistic | d = t × sqrt((n1+n2)/(n1×n2)) |
| F-statistic (df1=1) | d = sqrt(F × (n1+n2)/(n1×n2)) |
| r (correlation) | d = 2r / sqrt(1-r²) |
| OR (odds ratio) | d = ln(OR) × sqrt(3)/π ≈ ln(OR) × 0.5513 |
| 중앙값·IQR만 보고 | Wan et al. (2014) 공식으로 평균·SD 추정 후 계산 |
| 💡 팁: 효과 크기 계산 도구
• Practical Meta-Analysis Effect Size Calculator (Wilson): campbellcollaboration.org • ESCI (Exploratory Software for Confidence Intervals): Cumming의 프로그램 • R package: esc, metafor, compute.es • Campbell Collaboration 공식: Lipsey & Wilson (2001) 표 부록 권장: 수계산 검증 후 자동 도구로 재확인. 불일치하면 원인 파악. |
5.8 중복 보고 (Duplicate Publication) 식별과 처리
같은 참여자 집단이 여러 논문에 보고되는 현상은 정신증 SR에서 매우 흔하다. 대규모 코호트(NAPLS-2, EDIPPP, PACE, PRONIA, NAPLS-3)는 하나의 참여자 집단에서 수십 편의 논문이 출판된다. 이를 제대로 처리하지 않으면 같은 데이터가 여러 번 계산된다.
5.8.1 중복 보고의 유형
- 완전 중복: 동일 참여자, 동일 outcome, 동일 시점. 하나만 포함.
- 부분 중복 (outcome 다름): 같은 참여자, 다른 outcome 보고. 각각 포함 가능.
- 부분 중복 (시점 다름): 같은 참여자, baseline과 추적. 각각 다른 시점 outcome으로 포함.
- 부분 중복 (하위집합): 큰 코호트의 하위집합. 가장 큰 n 보고를 포함.
- 코호트 확장: 이전 보고 + 추가 참여자. 가장 최신큰 보고를 포함.
5.8.2 중복 식별 방법
- 저자 겹침 확인
- 연구 지역기관·코호트 이름 (NAPLS, EDIPPP, RAP, PRIME 등)
- 모집 기간 비교 (“2015–2018” vs “2014–2019” → 겹침 가능)
- 표본 크기와 인구통계 유사성
- 참고문헌에서 상호 인용 여부
- 저자 직접 연락으로 확인
| ⚡ 주의: NAPLS/EDIPPP/PACE 코호트의 복잡성
NAPLS는 2003년 시작 이후 NAPLS-1, NAPLS-2, NAPLS-3의 세 차례 확장되었다. 같은 참여자가 여러 하위 논문에 나올 수 있다. 처리 방법: • 가장 큰 n이 보고된 논문을 메인으로 • 다른 outcome을 보고한 논문은 “보조 보고(companion paper)”로 연결 • 추적 기간이 다른 논문은 시점별 별도 포함 • 각 포함 논문이 NAPLS 단계 중 어느 것인지(NAPLS-2 vs NAPLS-3) 명시 |
5.8.3 중복 보고 처리 원칙
같은 참여자 집단의 여러 논문이 있을 때:
- 메인 보고 1편 선택 (가장 큰 n, 가장 완전한 데이터, 또는 프로토콜/1차 논문)
- 다른 보고는 “부속(linked) 보고”로 식별
- 각 outcome은 한 번만 계산 (가장 완전한 보고 사용)
- 참여자 특성은 메인 보고에서 추출, 필요 시 부속 보고에서 보충
- 추출 데이터에 “Parent study” 열을 만들어 연결 관계 기록
5.9 데이터 추출 시간 계획
추출은 예상보다 오래 걸린다. 현실적 추정:
| 단계 | 1편당 시간 | 비고 |
| 원문 정독 | 30–60분 | 본문, 표, 그림, supplementary 모두 |
| 양식 입력 | 20–40분 | 60–100개 항목 입력 |
| 효과 크기 계산 | 15–30분 | 복잡한 변환이 필요한 경우 1시간+ |
| 이중 검증 (2인) | 30–45분 | 한 검토자가 원문 대조 확인 |
| 1편당 총 시간 | 1.5–3시간 | 평균 2시간 가정 |
| 30편 추출 총 시간 | 60–90시간 | 주당 15시간 × 6주 예상 |
| ⚠ 흔한 실수: 추출 시간 과소평가
대학원생은 “1편에 30분이면 충분”으로 계획한다. 실제로는 2–3시간. 이유: • 논문마다 보고 형식이 다름 — 매번 재해석 필요 • 효과 크기 변환 — 공식 확인·검증 시간 • 결측 데이터 — 다른 출처 확인, 원저자 연락 • supplementary 확인 — 표와 그림 교차 검증 규칙: 시간 예산을 2배로 잡아라. 30편 SR은 최소 6–8주. |
5.10 추출 데이터의 품질 관리
5.10.1 자체 점검 체크리스트
추출 완료 후, 본 분석 전에 다음을 확인:
- 모든 StudyID가 고유한가? (중복 없음)
- 필수 열에 결측이 있는가? 결측이 “빈 셀”인지 “NR”인지 통일되었는가?
- 범위 외 값이 있는가? (예: 연령 200, SD 음수, n = 0)
- 단위가 일관되는가? (교육 년수 vs 수준, mg/day vs mg/week)
- 드롭다운 값이 모두 허용 범위 내인가? (오타 확인)
- 효과 크기의 부호가 일관되는가? (CHR 저하 = 음수로 통일)
- Parent study 연결이 명확한가? (중복 보고 처리 확인)
5.10.2 Excel/R로 자동 검증
# R 예시: 극단값 탐지 library(dplyr) data %>% filter(CHR_AgeMean > 50 | CHR_AgeMean < 10) # 비정상 연령 data %>% filter(N_CHR <= 0) # n = 0 또는 음수 data %>% filter(Cohen_d < -5 | Cohen_d > 5) # 극단 효과 크기 # 중복 StudyID 확인 data %>% count(StudyID) %>% filter(n > 1)
5.11 Part 5의 흔한 실수
| ⚠ 흔한 실수: 실수 1 — 양식 설계 없이 바로 추출 시작
“일단 해보며 배우자” 방식. 10편 추출 후 양식의 구조적 결함이 드러나 전체 재작업. 해결: 양식 설계 → codebook 작성 → 파일럿 추출 → 본 추출. 순서 엄수. |
| ⚠ 흔한 실수: 실수 2 — 다중 보고를 별도 연구로 취급
Kim et al. 2019(baseline)와 Kim et al. 2021(2-year follow-up)이 같은 참여자임을 모르고 둘 다 독립 연구로 계산. 해결: “Cohort/Sample source” 열을 만들어 연결 관계 기록. 가족 단위로 관리. |
| ⚠ 흔한 실수: 실수 3 — 그래프에서 수치를 “눈대중”으로 추정
논문이 평균·SD를 본문에 주지 않고 bar graph만 제시. 검토자가 그래프 막대 높이를 눈대중으로 읽어 기록. 해결: (i) supplementary 확인 (ii) 원저자 연락 (iii) 그래프 디지타이저(WebPlotDigitizer) 사용. 눈대중은 최후 수단이며 민감도 분석에서 제외. |
| ⚠ 흔한 실수: 실수 4 — SD와 SEM 혼동
SEM(표준오차)을 SD(표준편차)로 기록. 결과: SD를 n^1/2배 작게 계산해 효과 크기가 부풀려짐. 해결: 논문이 “mean ± X” 형식이면 “X”가 무엇인지 반드시 확인 (본문에 SD/SEM 명시 여부). 불명확하면 원저자 연락. SEM은 SD로 변환: SD = SEM × sqrt(n). |
| ⚠ 흔한 실수: 실수 5 — T-score와 원점수 혼용
MCCB의 T-score(평균 50, SD 10)와 원점수(과제별 다름)를 같은 열에 기록. 나중에 비교 불가능. 해결: 열을 분리(“MCCB_WM_Tscore”, “MCCB_WM_Raw”). Codebook에 명시. 합성 시 같은 형식끼리만 비교. |
| ⚠ 흔한 실수: 실수 6 — 추출 후 양식 수정 미기록
중간에 “이 열을 추가해야겠다”고 결정하고 양식 변경. 이전 추출 데이터에는 해당 값 없음. 해결: 모든 양식 변경은 프로토콜 amendment에 기록. 새 열 추가 시 기존 추출 연구도 모두 보완 (시간 들여서라도). |
5.12 연구 특성 표 (Table of Included Studies)
추출 데이터의 핵심 정보를 독자가 한눈에 볼 수 있도록 요약한 표. SR 논문의 Table 1에 해당.
5.12.1 표 구조 설계
다음 열을 포함한다 (행 = 포함된 각 연구):
- 저자, 연도
- 국가
- 연구 설계
- n (CHR/HC)
- CHR 진단 기준
- 연령 (범위 또는 평균±SD)
- 성별 (% 남성)
- 약물 상태 (n medicated/naive)
- 인지 측정 도구
- 주요 결과 요약 (영역별 d 또는 유의성)
| 📝 템플릿: 연구 특성 표 예시 (일부)
|
5.13 Part 5 산출물
- 완성된 추출 양식 (Excel 또는 Google Sheets)
- Codebook (각 열의 정의와 코딩 규칙)
- 파일럿 추출 결과와 양식 개선 이력
- 이중 추출 일치도 지표
- 원저자 연락 기록 (일자, 요청 내용, 응답)
- 결측 데이터 처리 로그
- 효과 크기 계산 시트 (공식과 중간 단계 포함)
- 중복 보고 식별과 처리 기록
- 연구 특성 표 (논문 Table 1용)
- 자체 점검 결과 (품질 관리)
5.14 Part 5 종료 체크포인트
| ✔ 체크포인트: 자기 평가 체크리스트
양식 설계 ☐ 추출 양식이 6개 섹션(서지/설계/참여자/노출/결과/품질)을 모두 포함한다. ☐ 정신증 특화 항목(진단 기준, 약물, 측정 도구)이 모두 포함되었다. ☐ Codebook이 작성되어 각 열의 정의가 명확하다. ☐ 결측 표기(빈 셀/NR/NA)가 통일되었다. ☐ 드롭다운으로 값 일관성을 확보했다. 파일럿과 이중 추출 ☐ 파일럿 추출을 3–5편에 대해 수행했다. ☐ 파일럿 결과로 양식을 개선했다. ☐ 이중 추출 또는 추출+검증 방식을 수행했다. ☐ 일치도 지표(percent agreement 등)를 기록했다. ☐ 불일치를 토론/중재로 해결했다. 데이터 완전성 ☐ 결측 데이터에 대해 원저자 연락을 시도했다. ☐ 연락 기록(일자, 응답)이 보관되어 있다. ☐ 중복 보고를 식별하고 처리 방침을 문서화했다. ☐ Parent study 연결이 추출 데이터에 기록되어 있다. 효과 크기 계산 ☐ 모든 outcome이 통일된 효과 크기(Cohen’s d 또는 Hedges’ g)로 변환되었다. ☐ 부호 규칙(CHR 저하 = 음수)이 일관되게 적용되었다. ☐ 변환 공식과 중간 계산이 시트에 문서화되었다. ☐ 자동 도구로 수계산을 검증했다. 품질 관리 ☐ 자체 점검 체크리스트를 완료했다 (극단값, 단위, 중복 ID). ☐ 연구 특성 표(Table 1) 초안이 준비되었다. ☐ 모든 데이터가 OSF 또는 기관 저장소에 백업되어 있다. |
Part 5 주요 참고문헌
Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to Meta-Analysis. Wiley.
Büchter, R. B., Weise, A., & Pieper, D. (2020). Development, testing and use of data extraction forms in systematic reviews: a review of methodological guidance. BMC Medical Research Methodology, 20, 259.
Higgins, J. P. T., Li, T., & Deeks, J. J. (2023). Chapter 6: Choosing effect measures and computing estimates of effect. In: Cochrane Handbook for Systematic Reviews of Interventions v6.4.
Lipsey, M. W., & Wilson, D. B. (2001). Practical meta-analysis. Sage Publications.
Nuechterlein, K. H., Green, M. F., Kern, R. S., et al. (2008). The MATRICS Consensus Cognitive Battery, part 1: test selection, reliability, and validity. American Journal of Psychiatry, 165(2), 203–213.
Page, M. J., Moher, D., Bossuyt, P. M., et al. (2021). PRISMA 2020 explanation and elaboration: updated guidance and exemplars for reporting systematic reviews. BMJ, 372, n160.
Rohatgi, A. (2022). WebPlotDigitizer: Web based plot digitizer. Version 4.6. https://automeris.io/WebPlotDigitizer
Stoll, C. R. T., Izadi, S., Fowler, S., Green, P., Suls, J., & Colditz, G. A. (2019). The value of a second reviewer for study selection in systematic reviews. Research Synthesis Methods, 10(4), 539–545.
Tendal, B., Higgins, J. P. T., Jüni, P., et al. (2009). Disagreements in meta-analyses using outcomes measured on continuous or rating scales: observer agreement study. BMJ, 339, b3128.
Wan, X., Wang, W., Liu, J., & Tong, T. (2014). Estimating the sample mean and standard deviation from the sample size, median, range and/or interquartile range. BMC Medical Research Methodology, 14, 135.