콘텐츠로 이동

v9 exp-expert

v9-06 Baseline Extension 2 Results — NF MLP 3종 + TSLib 4종 (ETSformer SKIP)

Source: report/version9/exp-expert/v9-06_baseline_ext_2_results.md

v9-06 Baseline Extension 2 결과 보고서 — NF MLP 3종 + TSLib 4종

0. Executive Summary

v9-06 은 v9-05 (NF Transformer 3종 FAIL) 의 extension 으로, (a) Track A — NeuralForecast MLP 계열 3종 (NBEATSx / TSMixer / TiDE) 과 (b) Track B — TSLib 4종 (SCINet / ETSformer / Pyraformer / Crossformer) 을 EC50 5가구 × 3-seed 독립 학습 조건에서 평가했다. ETSformer 는 TSLib 소스 버그 (CUDA device mismatch) 로 smoke 단계에서 SKIP, 본 실행은 6 모델 로 진행. 본 실행은 완료 상태이며, 본 보고서는 집계·분석만 수행 (재학습 없음).

Watch 기준 정의 변경 경고 (critic Major 1): v9-05 설계서 line 48 의 Watch 는 (PAPE ≤ 43 OR HR@1 ≥ 37) (단일축 OR), v9-06 설계서 §6.1 의 Watch 는 (PAPE ≤ 46 AND HR@1 ≥ 30) (양축 AND, 개별 임계 완화). 두 정의 모두 표시·병기 판정한다 (§4.1.1).

핵심 판정:

v9-05 Baseline Extension Results — NF 3종 (Autoformer/Informer/FEDformer)

Source: report/version9/exp-expert/v9-05_baseline_ext_results.md

Revision Log

Revision 1 (2026-04-24) — exp-critic Revision-Required 반영

  • Critical C1 (MLflow per-epoch 로깅 전량 누락): §2 최상단에 2.0 MLflow 로깅 규약 위반 고지 소절 신설. CLAUDE.md MLflow 전면 로깅 규약 위반 사실, 원인(Lightning callback 부착 부재), 파급 범위(수렴 해석 주장 근거 약화), FAIL 판정 자체는 test metric 만으로 robust 함을 분리 강조. §8 에 P1 commitment ("다음 phase 스크립트에서 Lightning on_train_epoch_end callback 필수") 기록.
  • Critical C2 (§8.2 한계 셀프-인정 완결): §8.2 "한계" 항목 최상단에 "Per-epoch train/val loss 미로깅 — 수렴 판별 불가" 를 #1 로 추가. 기존 5개 항목은 #2–#6 으로 재번호.
  • Major M1 (FEDformer×Apt51 post-hoc cherry-picking 교정): §5.2 말미 "주기성 가구 × Fourier attention 정합" 해석 삭제. Apt51 Chronos HR@1=69.04 / B1 HR@1=69.95 대비 FEDformer 41.90 이 −27%p 격차임을 명시. "경쟁력" 어휘 제거 → "단일 가구 임계 근접, 사후 가설(post-hoc speculation)" 로 재기술. §8.1 관찰 2 동일 처리.
  • Major M2 (Wall-clock 1.15× "빠르다" 치환 제거): §7.2 "R1 완화" 결론 재기술. "빠르다/효율적" 해석 철회, "설계 예산 초과 없음" 으로 한정. Seed 간 wall-clock std 극소 (FEDformer 0.6s) 가 max_steps=500 한계 도달 신호일 가능성 명시. §8.1 관찰 3 "Informer distil 효과가 학습 시간에서만 유효" 삭제 → "early_stop vs max_steps 도달 판별 불가 (로깅 누락)" 로 축소.
  • Major M3 (seed 비대칭 보조 표 승격): §4 표에 seed column 추가. §4.2 신규 "seed=42 단일 보조 비교 테이블" 신설 — Autoformer 54.31 / Informer 52.17 / FEDformer 52.16 PAPE 로 재계산. 순위 robust 함 확인.
  • Major M4 (§2.2 MLflow 정리 "이미 목표 상태" 추측 제거): "orchestrator 또는 직전 세션" 수동태 기술 제거. "본 세션 진입 시점에 이미 deleted lifecycle 이었으며, 전환 주체·시점 확인 불가 (MLflow 파일스토어에 주체 감사 없음). 현재 active 46 runs 는 목표 구성과 일치" 로 교체. deleted 3건 절대 start_time/end_time 을 §2.2 표에 추가.
  • Minor m1–m5: §9 산출물 인덱스에 summary_smoke.csv 추가 + §1.1 에 smoke 결과 1줄. §1.1 seed 목록 뒤에 v9-02 설계 사전 등록 주석. §8.1 관찰 4 "MovingAvg smoothing" 을 "가설 — ablation 미수행" 으로 한정. §4 NHITS row 근거 MLflow 확인 주석. §1.1 에 v9-01 "predict_len=1h" 오기 정정 주석.
  • 재실험 없음 / 기존 결론 불변: H9-5a FAIL 판정, VQ 후보 부재, FEDformer 3종 내 상대 우위, Apt-level Pass 0 결론은 그대로 유지. 이번 revision 은 보고서 서술의 robustness·자기-인식 보강에 한정.

v9-03 Chronos-Bolt LoRA Fine-tuning Results (seed=42)

Source: report/version9/exp-expert/v9-03_chronos_lora_results.md

v9-03 Chronos-Bolt LoRA Fine-tuning Results (seed=42) — v2

Revision v2 note: critic 보고서 §1 이슈 7건 (Critical 2 + Major 4 + Minor 1) + §3 수정 요구 9건을 반영한 개정판. 변경 대응표는 §11 Revision Log 참조. 재실험 없이 기존 summary.csv / log 기반 재해석·재기술만 수행.

§0 요약 (Executive Summary)

본 보고서는 v9 Stage 2 — Chronos-Bolt-Small (47.7M) 백본에 LoRA adapter (rank ∈ {4, 8}, target={q, v}) 를 부착해 EC50 5가구에 대해 per-household fine-tuning 한 결과를 정리한다. seed=42 단일, 가구별 독립 학습 10회 (rank 2종 × 5가구).

공식 판정 (설계서 v9-02 §1.3, 단일 레이블화)