Source:
report/version6/exp-expert/v6_0414_normalization_limitation.md
Per-Household Z-score Normalization이 FedAvg 글로벌 모델 집계에 미치는 한계¶
1. 문제 정의¶
본 연구의 FL 파이프라인에서 각 가구(클라이언트)는 자신의 학습 데이터에 대해 독립적으로 Z-score 정규화를 수행한다.
# src/fed_learning/data_utils.py:77-85
mean = float(np.mean(train_data)) # 가구별 독립 계산
std = float(np.std(train_data))
train_data = (train_data - mean) / std
val_data = (val_data - mean) / std
test_data = (test_data - mean) / std
정규화된 데이터는 글로벌 모델의 사본(local copy)에 대해 로컬 학습에 사용되며(trainer.py:114), 학습 후 로컬 모델 파라미터는 FedAvg를 통해 가중 평균된다:
# src/fed_learning/aggregators.py:60-72
new_state[key] = sum(
w * local_states[i][key].float()
for i, w in enumerate(weights)
)
2. 의미적 충돌 메커니즘¶
2.1 스케일 불일치에 의한 가중치 의미 변질¶
가구 A(mean=2.0 kW, std=1.0 kW)와 가구 B(mean=8.0 kW, std=3.0 kW)를 예로 들면:
| 가구 | 원본 값 3.0 kW | 정규화 후 |
|---|---|---|
| A | 3.0 kW | (3.0 - 2.0) / 1.0 = 1.0 |
| B | 3.0 kW | (3.0 - 8.0) / 3.0 = -1.67 |
동일한 물리적 부하(3.0 kW)가 가구별 정규화 이후 완전히 다른 값으로 변환된다. 결과적으로, DLinear의 동일 가중치(weight)가 가구 A에서는 "평균 이상 1 표준편차"를, 가구 B에서는 "평균 이하 1.67 표준편차"를 의미하게 된다.
FedAvg는 이러한 이질적 의미 공간에서 학습된 파라미터를 단순 가중 평균하므로, 글로벌 모델의 가중치는 어느 가구의 스케일에도 정확히 대응하지 않는 혼합된 표현(blended representation)을 갖게 된다.
2.2 대부하 가구의 지배적 영향¶
FedAvg의 가중치는 일반적으로 데이터 크기에 비례하여 결정되나, per-household normalization은 부하 크기(magnitude)와 무관하게 모든 가구의 데이터를 동일 범위로 매핑한다. 이로 인해:
- 대부하 가구: 절대적으로 더 큰 gradient를 생성할 가능성이 있으며(정규화 후에도 분산 구조가 다름), 집계 후 글로벌 모델이 대부하 패턴에 편향될 수 있다.
- 소부하 가구: 정규화로 인해 부하 크기 정보 자체가 소실되어, 글로벌 모델에서 소부하 패턴의 표현력이 약화된다.
2.3 FL Non-IID 문제와의 연결¶
이 현상은 연합학습의 feature heterogeneity (Non-IID) 문제의 일종이다. 각 클라이언트가 동일한 특징 공간(feature space)을 공유하지만 서로 다른 정규화 통계량을 사용하므로, 사실상 다른 입력 분포(input distribution)에서 학습하는 것과 동등하다. 이는 Zhao et al. (2018)이 보고한 Non-IID 환경에서의 FedAvg 성능 저하와 동일한 근본 원인을 공유한다.
3. 현재 구현에서의 영향 범위¶
본 연구의 FL 실험에서는 5가구를 대상으로 하며, 각 가구의 부하 특성은 Table 1(paper_draft.md)에 정리되어 있다. 자연 피크 범위가 1.27kW(Apt30)~4.38kW(Apt88)로 약 3.4배의 스케일 차이가 존재하여, per-household normalization으로 인한 의미적 충돌이 실제로 발생할 조건이 갖추어져 있다.
4. 대안 및 향후 연구 방향¶
| 대안 | 설명 | 장점 | 단점 |
|---|---|---|---|
| Global normalization | 전체 가구의 합산 통계량으로 단일 Z-score 적용 | 가중치의 물리적 의미 보존 | 프라이버시 침해 (타 가구 통계량 공유 필요) |
| Min-max normalization | 가구별 [0, 1] 범위로 정규화 | 스케일 범위 통일 | 이상치에 민감, 부하 크기 정보 손실 동일 |
| Batch normalization 계층 분리 | BN 통계를 로컬에 유지하고 나머지만 집계 | 정규화 통계의 가구별 적응 | DLinear에는 BN이 없어 구조 변경 필요 |
| FedBN (Li et al., 2021) | BN 파라미터를 집계에서 제외 | Non-IID feature shift 완화 | 동일하게 BN 구조 전제 |
| 가구별 fine-tuning | 글로벌 모델을 로컬 데이터로 추가 학습 | 가구별 적응, 구현 용이 | 이미 적용 중 (personalization round) |
현재 파이프라인에서는 FL 학습 후 각 가구별 fine-tuning(personalization)을 수행하여 이 한계를 부분적으로 완화하고 있으나, 글로벌 모델 자체의 초기화 품질에 영향을 미치는 근본적 문제는 해소되지 않는다.
5. 논문 서술 권장안¶
아래는 논문 Limitation 절에 삽입할 수 있는 서술안이다.
(4) Per-household normalization과 FedAvg 집계의 의미적 충돌: FL 학습 시 각 가구는 자체 학습 데이터의 평균 및 표준편차로 독립 Z-score 정규화를 수행하므로, 동일 모델 가중치가 가구마다 상이한 물리적 의미를 갖게 된다. FedAvg는 이러한 이질적 의미 공간의 파라미터를 단순 가중 평균하므로, 글로벌 모델의 표현력이 제한될 수 있다. 이는 FL의 feature heterogeneity(Non-IID) 문제에 해당하며, global normalization 또는 정규화 계층 분리(FedBN) 등의 대안은 프라이버시 제약 및 모델 구조 변경을 수반하여 추후 연구로 남긴다.
참고문헌¶
- Y. Zhao, M. Li, L. Lai, et al., "Federated Learning with Non-IID Data," arXiv preprint arXiv:1806.00582, 2018.
- X. Li, M. Jiang, X. Zhang, et al., "FedBN: Federated Learning on Non-IID Features via Local Batch Normalization," ICLR, 2021.
- B. McMahan, E. Moore, D. Ramage, et al., "Communication-Efficient Learning of Deep Networks from Decentralized Data," AISTATS, 2017.