ADR-010: v9 Baseline Extension → v10 Multi-Model VQ × Structured Codebook × Peak-Specialized FL¶
상태: Accepted (2026-04-25)¶
맥락¶
선행 Phase 학습점¶
v6~v9 전체 phase에서 다음 사실이 축적되었다.
- VQ codebook이 collapse(util 3~6%)해도 PAPE는 개선된다 (ADR-009 archive의 V4/V5 데이터) → codebook은 정보 채널보다 regularizer에 가깝다.
- 모델 아키텍처가 peak 예측 성능의 주요 driver:
- v6 NF-baseline NHITS PAPE 39.26 (seed=42)
- v9-06 NBEATSx PAPE 점추정 1위 34.58 (n=15, 95% CI [30.71, 38.46]) — 통계적으로 R1b / N-HiTS와 구별 불가하나 점추정 기준 20-model 1위
- v9-06 SCINet Watch PASS (PAPE 42.35 / HR@1 34.48), MSE 20-model 1위 (0.498)
- FL + Peak-Weighted Loss + 개인화 경로(R1b)의 시너지로 v6 R1b가 FedPM+DLinear 조합에서 PAPE 37.36 달성
- Memory Alignment 단독으로는 collapse 방지 실패 (v8 V4/V5, ADR-008/009)
- decomposition+attention 계열 (Autoformer/Informer/FEDformer/Pyraformer/Crossformer)은 peak 축 구조적 약점:
- v9-05 Transformer 3종 PAPE 52-53 전수 FAIL
- v9-06 TSLib 2종 (Pyraformer/Crossformer)도 FAIL 재현
v9-05/v9-06 결론 (관련 reporter: report/version9/reporter/v9-05_baseline_ext_summary.md, report/version9/reporter/v9-06_baseline_ext_2_summary.md)¶
- H9-6a Strict FAIL: 20-model 전수
PAPE ≤ 43 AND HR@1 ≥ 37미충족 (B1이 HR@1 0.08pp 차로 최근접) - VQ 후보 잠정 선별: SCINet (hierarchical SCI-Block) + NBEATSx (basis expansion) 2종 — "VQ backbone 확정"이 아니라 "VQ 이식 실험 진입 자격 최초 획득" 수준
- 사용자 결정 필요 사항 4건 중 #1 VQ 이식 실험 착수를 채택
전환 필요성¶
v9 baseline extension은 "DLinear 대체 VQ-친화 backbone 탐색"이 목표였다. v9-06에서 후보 2종(SCINet/NBEATSx) + 추가 검증 가치 있는 2종(NHITS/Crossformer)을 확보했으므로, backbone 탐색 phase를 종료하고 VQ 이식 phase로 전환한다.
결정¶
v10 새 phase 정의¶
Multi-Model VQ × Structured Codebook × Peak-Specialized FL
모델 아키텍처의 귀납 편향을 VQ 구조에 이식하여 collapse 없이 peak 특화 FL을 달성한다. 각 모델의 자연스러운 블록 분해를 codebook 축으로 매핑:
| 실험 | Backbone | VQ 전략 | 근거 |
|---|---|---|---|
| E1 | NBEATSx | Decomposition Codebook (3 CB: trend/seasonal/generic) | basis expansion stack 분리 |
| E2 | NHITS | Frequency-Band Codebook (3 CB: low/mid/high-freq) | pooling-kernel hierarchy |
| E3 | SCINet | Residual Quantization (3 level × M=32) | SCI-Block binary tree |
| E4 | Crossformer | Product Quantization (4 sub × M=16) | DSW embedding + TSA seg |
계승 사항 (v9에서 v10으로)¶
- MLflow 로깅 규약: EpochMLflowCallback 패턴 + per-epoch train_loss/val_loss 강제 (v9-06 Critical C1 해결분)
- VQ 후보 선별 근거: v9-06 결과 (SCINet Watch PASS, NBEATSx PAPE 점추정 1위)
- Peak-Weighted Loss α=2.0: v6 R1b 설정 계승
- Memory Alignment γ=0.95 / δ=0.7: v8 ADR-008 설정, 발산 시 γ=0.8 rollback 옵션
- 집계 프로토콜: 5-apt per-household 평가 → v10에서 100가구 풀로 확장
- Gating 기준: Strict (PAPE ≤ 43 AND HR@1 ≥ 37) 유지. Watch 는 v10에서 재정의 필요 (v9-06 Major 1 지적)
폐기 사항¶
- v9 baseline 탐색 트랙 종료: 추가 NF/TSLib 모델 평가는 future work. v9-05/06은
superseded로 전환 - ETSformer: TSLib 소스 CUDA device mismatch로 SKIP 상태. v10에서 재시도 안 함 (구조상 peak smoothing 계열로 분류)
- v9-05 Autoformer/Informer/FEDformer + v9-06 Pyraformer/Crossformer single-track: attention + decomposition 계열 FAIL 재현 확립, v10에서 E4(Crossformer+PQ)만 다변량 sub-code 가설로 재도전
- DLinear + VQ (v6 R1b 포함): ADR-009 near-collapse 교훈. B3 (v6 R1b 재현) 재학습 생략, 기존 MLflow 기록 인용만
v10 phase 설계 파라미터 (user 승인 2026-04-25)¶
| 항목 | 값 | 변경 근거 |
|---|---|---|
| 데이터 | UMass Smart Home 100가구 (기존 EC50 = Energy Community 50가구의 확장) | 기존 데이터 소스 일치 확인 |
| Train/Cold split | 50/50 | 원안 70/30에서 변경, cold-start 검증력 강화 |
| Seeds | {42} 단일 (1차), 확장은 결과 관찰 후 결정 | 원안 3-seed에서 축소, wall-clock 절약 우선 |
| 외생변수 | 미사용 (단변량 통일) | E1~E4 공정 비교, H10-2 재작성 (trend basis 자체가 alignment anchor) |
| 베이스라인 재학습 | 전체 스킵 | v9-01/v9-06 recap 인용, B0/B1/B2/B3 신규 실행 없음 |
| Per-epoch 로깅 | 강제 | CLAUDE.md 규약 + v9-06 EpochMLflowCallback 계승 |
| Cold unfreeze | Ablation 항목 등록 | Future work |
| 병렬 실행 | exp-expert 4명 병렬 dispatch + 실험 subprocess 4개 병렬 (GPU 공유 OOM 시 순차 fallback) | 단일 RTX 5070 Ti 제약 하 최대 병렬화 |
가설 H10-1~H10-5¶
| ID | 가설 | 검증 기준 |
|---|---|---|
| H10-1 | NHITS + Frequency-band CB 에서 high-freq CB 가 peak 정보 집중 | PAPE < B0 (42.51), high-freq CB util > 50% |
| H10-2 | NBEATSx + Decomp CB 에서 trend block basis expansion 자체가 alignment anchor (외생변수 없음) | round-wise alignment drift 감소 |
| H10-3 | SCINet + RQ 가 같은 통신량으로 collapse 회피 | 전체 CB util > 50%, MSE ≤ B0 (0.515) |
| H10-4 | Crossformer + PQ 가 sub-space 분할로 cold-start 성능 우수 | 50가구 cold-start PAPE 최선 |
| H10-5 | 모델 아키텍처 × VQ 구조 정합성 유의미 | 4 조합 중 정합이 비정합보다 PAPE 낮음 |
귀결¶
긍정적¶
- v9 baseline 탐색에서 얻은 정량 근거(점추정 PAPE/HR@1 순위, 구조 카테고리 패턴)를 다음 단계 VQ 이식의 baseline으로 활용 가능
- 4 모델 × 4 VQ 전략 설계가 구조적으로 자연(각 모델의 분해 공간 ↔ codebook 축) → 각 조합의 성공/실패가 "구조 정합성" 명제의 증거/반증으로 해석 가능
- Peak 특화 FL을 단일 아키텍처가 아닌 아키텍처 간 비교로 접근 → 논문의 main contribution 확장
부정적/Open risks¶
- SCINet/Crossformer 포팅 비용: v9-06에서
src/tslib/THUML 버전 이미 통합했으나, FL trainer 호환성 재확인 필요 - 단일 seed(42) 의사결정: H10-5 (정합성 유의미) 검증에 통계적 근거 약함. 3-seed 확장 여부는 1차 결과 관찰 후 ADR-010-addendum으로 보강
- Cold-start 50가구의 UMass 풀 분포: 50가구 hold-out이 seen 50가구와 분포 동질 여부 사전 검증 필요 (KL-divergence 또는 load profile clustering)
- ADR-009 DLinear+VQ near-collapse 재발 위험: 4 모델 × VQ 이식 중 하나 이상이 collapse할 가능성. Stage 2 smoke에서 util < 20% 시 자동 alert
문서 전환¶
- v9 baseline extension track: v9-05/v9-06 관련
project_state/문서를superseded로 전환 (해당 문서 존재 시) - v9 관련 TODO:
todos/archive/로 이동 - 새 v10 track TODO:
todos/track-g_v10_multi_model_vq.md생성
참조 문서¶
- 선행 ADR:
docs/decisions/ADR-008_v7_to_v8.md(Memory Alignment 원형),docs/archive/decisions/ADR-009_v8_to_v9_vq_redesign_archived_2026-04-21.md(DLinear+VQ collapse 기록) - 선행 reporter:
report/version9/reporter/v9-05_baseline_ext_summary.md,report/version9/reporter/v9-06_baseline_ext_2_summary.md - v10 초안 설계:
report/version10/lab-leader/v10-01_fl_aspect.md(작성일 2026-04-25, 본 ADR 승인 후 exp-designer 정식 설계서로 승격) - v10 정식 설계서 예정 위치:
report/version10/lab-leader/v10-02_vq_multi_model_design.md(또는 exp-designer 산출물) - 참고 논문: Oreshkin et al. 2019 (NBEATS), Challu et al. 2022 (NHITS), Liu et al. NeurIPS 2022 (SCINet), Zhang & Yan ICLR 2023 (Crossformer), Jégou et al. 2011 (PQ), Lee et al. CVPR 2022 (RQ-VAE)