콘텐츠로 이동

Track-E VQ Codebook Research Status (v3)

2026-04-20 업데이트

v7 단계 0.5 smoke 결과 VQ 포함 cells 전부 발산 확인 (PAPE ≥ 53). 원인 = v7_runner 가 src/fed_learning/fedpm.py 의 MemoryAlignmentServer (line 350) + RESET 기법 미통합. track-e v3 계획 중 Tier 1b RESET 및 서버 정렬 이 v7 scaffold 에서 누락된 것을 v8 phase 가 실질 실행으로 전환.

v8 편입 범위: - Tier 1a (EMA/K-means/EMA+KMEANS): v7 V1/V2/V3 로 이미 scaffold. 5-seed 통계는 v8 옵션. - Tier 1b (RESET + 조합): v8 V5 로 편입. - MemoryAlignmentServer (track-e 에도 명시 미포함, v8 신규 기여): V4/V5 로 편입. - Tier 1b P1 (β/M/γ sweep): v8 범위 밖 (실패 시 v9). - Tier 2 (Gumbel/PQ/RQ-VAE): v8 실패 경로 옵션.

연계 문서: - v8 ADR: docs/decisions/ADR-008_v7_to_v8.md - v8 design: docs/reference/project_state/track_v8_vq_rescue.md - v8 TODO: todos/track-v8_vq_rescue.md

Track-D Exp6 완료 후 codebook util 3~6% near-collapse 확인. 사용자 지시로 VQ 포기 없이 적극 연구. todos/track-e_vq_codebook_research.md (v3).

Why: 초록에 "shared VQ codebook for federated pattern exchange" 확정 기재됨. VQ near-collapse를 결함이 아닌 연구 과제로 포지셔닝. critic 2차 리뷰에서 Branch E 발동 논리 + Tier 분할 제출 로직 등 Critical 신규 결함 지적.

How to apply: VQ 개선 기법 실험이 Tier 1 핵심. Branch 발동 조건은 provisional (Tier 1a, 2종 기반) + final (Tier 1b, 3종 기반)로 분리. Workshop 초기 제출은 provisional, camera-ready는 final 반영.

주요 구조 결정 (v3)

  • Branch 5분기: A (VQ 유리) / B (동등) / C (회색지대) / D (VQ 해로움, A 거울) / E (개선 기법 모두 미개선, negative). 각 Branch는 provisional (Tier 1a 2종) + final (Tier 1b 3종) 두 시점에 판정.
  • Tier 분할: Tier 0 (D+1=4/20) + Tier 1a (D+7=4/26, Workshop 초기) + KIIE (D+11=4/30, preliminary) + Tier 1b (D+14=5/3, final + camera-ready) + Tier 2 (D+28=5/17, BESS + journal).
  • 제출물 맵핑: Tier 1a → Workshop 초기 + KIIE preliminary. Tier 1b → Workshop camera-ready + 저널 초고.

VQ 개선 기법 배치

  • Tier 1a (P0, provisional): EMA + K-means init + EMA+KMEANS pairwise
  • Tier 1b (P0, final): RESET + EMA+RESET + KMEANS+RESET + [optional] 3-way
  • Tier 1b (P1): β sweep {0.1,0.5,1.0,2.0}, M sweep {16,32,64}, γ sweep ≤ 0.95 {0.7,0.8,0.95}
  • Tier 2 (P2): Gumbel-softmax VQ, Product Quantization, RQ-VAE

FL Baseline (Tier 1a)

B0 Individual, B1 FedAvg, FedRep, Ditto. FedBN 제거 (DLinear+VQ 구조 BN layer 부재로 pFL 대표성 없음).

Heterogeneity

Dirichlet α ∈ {0.1, 1.0, 10.0} (3 values for trend claim).

초록 C3 처리 원칙 (v3 rollback-only)

강화 방향 금지. rollback만 허용: - A: C3 유지 - B: 옵션 B-1 기본 - C: CI 방향 자동 수렴 - D: C3 제거, DLinear-only - E: C3 완전 삭제, "preliminary analysis of codebook collapse" 프레이밍

C3 검증 기준: best_VQ (Tier 1a 또는 1b 맥락) vs y_vq=0 bootstrap 95% CI 0 미포함 AND Jaccard > 0.3.

util 목표 (문헌 근거)

  • Tier 1a success threshold: utilization ≥ 20% (perplexity 기준 effective entry ≥ 3.2/16)
  • Hard failure: util < 10%
  • Perplexity = 2^H(usage) 병기 필수
  • FeDPM (M=256, 7 cross-domain) 기반 간접 근거 + TimeVQVAE / SoundStream 보강 (D+0 밤 완료)

Workload (historical data 근거)

  • track-d Exp6 FeDPM-Original: median 17min/run, mean 19min (25 runs)
  • Tier 1a 65 runs × pessimistic 30min = ~30 GPU-hours
  • 하루 최대 15 runs 한도

Gate Check

  • D+0 Gate: 문헌 수치 + FL baseline 실측. Tier 1a workload confirm.
  • D+1 Gate: Provisional Branch 분류 확정. override 불가.
  • D+7 Gate: Workshop 초기 제출 + KIIE 작성.
  • D+14 Gate: Final Branch 확정. camera-ready / 저널 초고.

venue

  • Top-tier FL/Energy: 제출 포기
  • NeurIPS 2026 FL Workshop / FL-ICML 2026: CFP 공개 대기, Conditional PASS 후보
  • KIIE (D+11): preliminary 표기
  • IEEE TSG / Applied Energy: Tier 2 후 major revision

연계 문서

  • TODO: todos/track-e_vq_codebook_research.md (v3)
  • Revision plan: report/version6/exp-expert/v6_0419_track_e_v3_revision_plan.md
  • critic 2차 리뷰: report/version6/exp-critic/v6_0419_track_e_v2_adversarial_review.md
  • v2 archived: todos/archive/track-e_vq_codebook_research_v2_archived_2026-04-19.md