콘텐츠로 이동

2026

v7 단계 0 사전 등록 산출물 적대적 검토

Source: report/version7/exp-critic/v7_0419_stage0_preregistration_review.md

v7 단계 0 사전 등록 산출물 적대적 검토

종합 판정: CONDITIONAL REJECT

요약: 산출 수치 자체는 MLflow·JSON·스크립트 로직 수준에서 재현 가능하며, A1 G3/G4/G5의 블록 선택 결정화 규칙, A3 Apt88 argmax, A2 accepted 4 run 계산은 기록된 파이프라인대로 실행 시 동일하게 나온다. 그러나 이 산출물이 표방하는 "단계 1~4 모든 PAPE/HR 계산의 assertion 기준선, 코드 경로 drift 차단의 단일 진실"이라는 기능을 현 상태에서는 수행하지 못한다. 치명적 결함 2건 (§C1 정의 해시 알고리즘·payload 이중화, §C2 Gate 1 assertion 함수 불일치)은 단계 0.5 smoke 진입 전에 반드시 재작업해야 하며, 그 전까지는 "사전 등록 완료"라 주장할 수 없다. 추가로 A2 threshold는 실질적으로 track-e-tier0 3-4 run의 2-epoch prototype loss에만 근거한다는 심각한 대표성 결함이 있어, 단계 1~4 어떤 run도 이 threshold를 실제 발동시키지 못할 위험이 크다.

치명적 문제 (Critical Issues)

v7 Stage 0.5 Gate 5 Threshold Bifurcation — Adversarial Review

Source: report/version7/exp-critic/v7_stage05_gate5_threshold_review.md

v7 Stage 0.5 Gate 5 Threshold Bifurcation — Adversarial Review

종합 판정

REJECT — 단계 1 진입 HOLD.

exp-expert 권고는 단계 1 지연 회피라는 정당한 운영 목표를 갖지만, (a) 사용자 요구 맥락 자체에 사실 오류가 있고(§포인트 2), (b) 권고된 smoke threshold 1.05는 Gate 5를 수렴 검증 기능에서 사실상 분리시키며, (c) "30분 재해석" 서사가 실제 workload를 숨기고, (d) 단계 1에서 동일 FAIL 재현 위험이 남는다.

track-f Decoder Transformer 교체 — 심층 분석

Source: report/version8/exp-expert/track_f_decoder_analysis.md

User 결정 pending (5건) — 본 분석의 §6 성공 기준, §7 실패 프로토콜, §8 workload 는 pending 결정 결과에 따라 부분 재작성 필요: 1. W1 decoder 구조 (α=FC-MLP / β=Transformer / γ=병렬) — 본문 γ 전제 2. Aggregation 복원 범위 (decoder 단독 / v6 cos_similarity+personalized 포함) — 본문 decoder-only 전제 3. rounds 확장 (smoke 수렴 관찰 후 조건부) — 본문 rounds=10 smoke + 조건부 rounds=30 전제 4. Gate 수치 (파일럿 후 확정) — 본문 placeholder 5. Gray-zone 정책 (PAPE 45~50)

track-f Decoder Transformer 교체 — 심층 분석

§0 맥락 + 사실 관계 정정

track-f Engineer Contract

Source: report/version8/exp-expert/track_f_engineer_contract.md

track-f Engineer Contract — Decoder Capacity Swap 구현

User 결정 pending (5건) — contract dispatch 는 아래 결정 확정 후에만 가능: 1. W1 decoder 구조 (α=FC-MLP / β=Transformer / γ=병렬) — 본문 γ 전제로 W1+W2 둘 다 구현 2. Aggregation 복원 범위 (decoder 단독 / v6 포함) — 본문 decoder-only 전제, FL aggregation 코드 변경 없음 3. rounds 확장 (smoke 수렴 후 조건부) — 본문 runtime 선택사항, 코드 불변 4. Gate 수치 (파일럿 후 확정) — 본문 변수 반영 불필요 5. Gray-zone 정책 — 본문 변수 반영 불필요

본문은 옵션 γ + decoder-only + critic F3 3 보강 (RevIN biased, loss_decode, DLinear differential LR) 전제. user 가 α 또는 β 선택 시 W1 또는 W2 중 하나만 구현.

v6 Baseline Reference (v7-recomputed via shared metrics module)

Source: report/version6/exp-expert/v6_baseline_reference.md

v6 Baseline Reference for v7 Smoke Sanity Review

⚠️ 의무 경고 (critic M3 대응, cycle 2/2 2026-04-19)

본 reference는 'Gate 판정 근거'로 사용 금지. smoke 해석 시 오직 "수치 규모 sanity (order-of-magnitude)"로만 참고할 것.

근거: - 표본은 N=1 seed (seed=42) 단일 run. IQR/분산/bootstrap 계산 원천 불가. - cycle 1 revision에서 제안한 ±5 tolerance 밴드는 통계 근거 부재로 본 cycle 2/2 에서 철회한다. - v7 smoke의 "합리성" 판정은 v7 내부 3-seed paired 분산으로만 수행. - smoke_analysis.py는 자동 footer로 본 경고를 verdict 보고서에 삽입한다.

v7 Peak-Aware FL — 단계 0 사전 등록 v2 (critic-revised)

Source: report/version7/exp-expert/v7_0419_stage0_preregistration_v2.md

v7 단계 0 사전 등록 v2 — critic CONDITIONAL REJECT 대응

본 보고서는 exp-critic v7_0419_stage0_preregistration_review.md의 CONDITIONAL REJECT에 대한 revision이다. 모든 P0 (C1~C3, M1~M7)를 단일 cycle에서 해소한다.

  • 실행 스크립트: experiments/federated/v7_0419_stage0_preregistration.py (v2)
  • 공용 모듈: src/peak_analysis/v7/metrics.py (신규 — critic C1/C2 대응)
  • MLflow 새 run: 4659d778c5e9460aaa1c5b928508d9a9 (v1 08716ec9…는 superseded)
  • 산출 JSON: outputs/v7_stage0/stage0_summary.json (덮어쓰기)
  • Frozen artifacts: outputs/v7_stage0/golden_tensors/{G3,G4,G5}_y_{true,pred}.npy
  • 새 정의 해시: 8be2bd2f691deed0 (v1 1c4acef8a235 폐기)

v7 Peak-Aware FL — 단계 0 사전 등록 결과

Source: report/version7/exp-expert/v7_0419_stage0_preregistration.md

v7 단계 0 사전 등록 결과 (A1, A2, A3)

본 보고서는 v7 Peak-Aware FL 발표 캠페인의 D+0 P0 산출물 3종 결과를 담는다. 단계 0.5 smoke test 진입의 사전조건이며, 본 문서에 기록된 값은 단계 1~4 전 실험의 assertion 기준선(= override 금지)이다.

  • 실행 스크립트: experiments/federated/v7_0419_stage0_preregistration.py
  • MLflow 실험: v7-stage0-preregistration (run 08716ec90ec94c5c901900bb6cc4dc10)
  • 산출 JSON: outputs/v7_stage0/stage0_summary.json
  • 산출 CSV (A2 per-run): outputs/v7_stage0/v6_loss_distribution.csv
  • 재현 명령: uv run python experiments/federated/v7_0419_stage0_preregistration.py
  • 공통 설정: RANDOM_SEED=42, SEQ_LEN=96, PRED_LEN=24, split=(0.7, 0.1, 0.2), Q=90, HR K=12
  • 정의 해시: 1c4acef8a235 (PAPE/HR 정의 drift 탐지용)

v7_runner.py MLflow Param 추가 로깅 — Engineer Contract (Stage 0.5)

Source: report/version7/exp-expert/v7_stage05_engineer_contract.md

Engineer Contract — v7_runner.py 신규 MLflow Param 로깅

본 문서는 critic C2 대응으로 v7_runner.py에 추가해야 할 MLflow param 명세다. smoke_analysis.py의 Gate 2 / Gate 6 은 이 param들을 엄격하게 요구한다 (cycle 2/2에서 soft fallback 제거 완료). 누락 시 Gate 2/6 FAIL.

맥락

  • smoke_analysis.py 측 수정은 완료: Gate 2 WARNING→FAIL, Gate 6 ERROR→FAIL.
  • v7_runner.py 측은 contract 맞추기만 하면 됨.
  • 기존 scaler_space_signature (unified) 은 backward compatibility 위해 유지 가능.

v7 단계 0.5 — 6 Critical Gates 판정 기준 (자동 평가 사양)

Source: report/version7/exp-expert/v7_stage05_gate_criteria.md

v7 Stage 0.5 — Gate 1~6 Pass/Fail 판정 기준

Design spec track_v7_design.md §3의 6 Critical Gate가 smoke 12 runs (3 cells × 2 households × 2 seeds, 또는 smoke plan 확정 후의 실제 매트릭스)에 대해 어떻게 자동 평가되는지 확정.

공통 원칙 - 데이터 소스: mlflow.search_runs() 직접 query. CSV 재사용 금지 (design §2.5). - 공용 PAPE/HR 함수: peak_analysis.v7.metrics (definition_hash() = 8be2bd2f691deed0). - atol: golden tensor 1e-6 (공용 모듈 고정). - Gate 간 판정 충돌 시 §7 우선순위 적용. - 12 runs 중 어느 하나라도 mlflow.info.status != "FINISHED"이면 Gate 평가 불가 → ERROR 상태 (FAIL 아님; 수동 개입).

v7 Stage 0.5 Gate 5 Redesign — Engineer Implementation Contract

Source: report/version7/exp-expert/v7_stage05_gate5_engineer_contract.md

v7 Gate 5 — Engineer Contract

exp-expert가 v6 n=22 back-test로 empirical cutoff를 도출하고 9-run smoke preview를 검증한 결과(보고서 v7_stage05_gate5_redesign_v2.md), Gate 5 구현을 아래 계약대로 전환해 달라.

1. 수정 대상 (1 파일)

experiments/federated/v7_stage05_smoke_analysis.py

1.1 evaluate_gate5 함수 전면 재작성