DistilTS 프레임워크 요약

DistilTS

"Distilling Time Series Foundation Models for Efficient Forecasting", 2026 https://arxiv.org/abs/2601.12785

https://www.themoonlight.io/ko/review/distilling-time-series-foundation-models-for-efficient-forecasting

https://github.com/itsnotacie/DistilTS-ICASSP2026/tree/main

• 주요 기능

  • Horizon-weighted objectives
    • 지수적 증가 가중치 스키마: 가중치를 예측 기간별 구분
    • 장기 예측 기간을 다 고려하기 위함
  • Factorized Temporal Alignment (FTA) module
    • 교사 모델과 학생 모델 간의 아키텍처 불일치 해소
    • TSFM : TS foundation Models
      • TimeMoE
      • MOIRAI
      • Chronos
      • TimesFM
      • Moment
    • 학생
      • DLinear
      • iTransformer

• 유용한 부분

  • 단순히 soft data 를 활용한 KD가 아닌, 히든 임베딩 \(H^T\) 와 \(H^S\) 으로 나누어 이론적으로 Feature를 전달할 수 있도록 설계함

추가 논문

TimeDistill : Efficient Long-Term Time Series Forecasting with MLP via Cross-Architecture Distillation A Knowledge Distillation Approach with Time Series Prediction