언어 모델의 잠재 공간 추론 아키텍처 'BDH-CQ' 연구 발표

요약

BDH-CQ는 재귀적 잠재 추론을 통해 인컨텍스트 러닝(In-Context Learning) 기능을 통합한 새로운 추론 시스템이다. 이 모델은 보지 못한 과제에 대한 예시가 주어지면 재귀적 메모리를 업데이트하며, 중간 추론 과정을 언어로 변환하지 않고 고차원 잠재 공간에서 반복적 연산을 수행해 쿼리를 해결한다. 추론 시점에 모델의 재귀적 메모리가 연속적으로 업데이트되지만, 별도의 파라미터 업데이트는 발생하지 않는다. 또한, 학습 과정에서 과제 식별자나 평가 과제 예시 쌍을 활용하지 않는다는 점이 특징이다. 1억 5천만(150M) 파라미터 규모의 구성으로 29%의 성능을 달성했다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.