ADR-006: v5 → v6 전환 (Federated Learning 심화 실험)¶

상태: In Progress (2026-04-14)¶

맥락¶

v5 FL 실험에서 PAPE 측면 유효한 결과 도출(FedAvg+FT PAPE ~30% 향상, Cold-Start 효과 확인). 그러나 MSE↔PAPE 트레이드오프, 통계적 유의성 미확보, 파이프라인 정합성 이슈(early stopping 미적용, normalization 누수 등)가 exp-critic 리뷰에서 지적됨. v6에서는 이러한 미결 사항을 해소하고, PAPE 중심의 실효성을 증명하는 심화 실험을 진행.

결정¶

5개 실험을 통해 FL 기반 피크 예측의 유의성과 실용성을 종합 증명.

실험1: PAPE-전력비용 절감 관계성 증명
실험2: Baseline 추가 확보 + 통계적 유의성 확보
실험3: ESS 시뮬레이션 적용
실험4: 파이프라인 정합성 감사
실험5: FedAvg-FT 추가 연구 (FT epoch 세분화, early stopping 반영)

근거¶

v5에서 FedAvg+FT의 PAPE 개선이 관찰되었으나, 단일 seed·5가구 평균으로 통계적 신뢰 부족
파이프라인에 early stopping 미적용, normalization 누수 등 실험 정합성 이슈 존재
PAPE 개선이 실제 전력 비용 절감으로 이어지는지 ESS 시뮬레이션 검증 필요
Baseline 모델 비교 없이 FL 유효성 주장 불충분

계승 사항 (from v5)¶

MSE↔PAPE 트레이드오프 관찰 → v6에서도 두 메트릭 동시 보고 필수
Cold-start FL 유효성(MSE 기준) → 논문 기여점으로 유지
FedAvg 충분 → FedDF·FedProx 제외, FedAvg(+FT) 중심 실험

진행 현황¶

실험4. 파이프라인 정합성 감사 — 완료 (2026-04-14)¶

Critic report: report/version6/exp-critic/v6_0414_pipeline_integrity_review.md
CRITICAL 3건, MAJOR 5건, MINOR 3건 식별 → 전원 수정 완료
주요 수정: FT early stopping 추가(C1, C2), EVAL 가구 연합 참여 제외(C3), normalization 누수 수정(M1), 계절 편향 완화(M2), Monthly PAPE+HR 지표 추가(M5)
테스트: 233 passed

실험1~3, 5 — 미착수¶

실험4 수정 코드 기반으로 실험5 → 실험2 → 실험1 → 실험3 순서 진행 예정

미결 사항¶

실험5 FT epoch 세분화({10, 30, 50, 70}) 및 재실험 미수행
통계적 유의성 검증 방법론 확정 필요 (실험 가구 수, 신뢰구간 기준)
ESS 시뮬레이션 파라미터 설정 미확정

폐기 사항¶

FedDF, FedProx는 v5에서 이점 없음 확인 → v6 실험 범위에서 제외
MSE 단독 평가 → PAPE 중심 분석으로 전환 (MSE는 보조 지표로 유지)