3만 파라미터 소형 모델로 혈당 예측하기: 인코더 트랜스포머 활용기

요약

한 사용자가 자신의 혈당 수치를 예측하기 위해 인코더 전용 트랜스포머(encoder-only transformer) 모델을 개발하여 공개했다. 이번 모델은 16개 레이어, 레이어당 1개 어텐션 헤드, 16의 히든 차원으로 구성된 총 31,251개의 파라미터로 설계되었으며, NVIDIA DGX Spark를 통해 60분 이내에 학습을 완료했다. 학습 데이터로는 T1DM 환자 시뮬레이터의 출력값을 사용했으며, 실제 사용자의 혈당 추적 데이터를 통해 제로샷(zero-shot) 성능을 측정했다. 이 모델은 향후 2시간의 혈당을 예측하도록 학습되었으나, 자기회귀(autoregressive) 방식을 통해 최대 8시간의 야간 예측까지 가능하다. 특히 반사실적 추론(counterfactual reasoning) 능력을 갖추도록 설계되었으며, 실제 데이터 학습 없이 합성 데이터만으로도 유의미한 예측 성능을 보이는 것이 특징이다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.