소형 트랜스포머의 다변수 바인딩 학습을 위한 보조 손실 함수 실험

요약

Reddit의 r/LLMDevs에서 3M 파라미터 규모의 작은 트랜스포머 모델이 다변수 바인딩을 학습하도록 돕는 보조 손실 함수(auxiliary loss) 실험 결과가 공유되었습니다. 현재의 LLM은 'Tom은 고양이, Jerry는 쥐'와 같이 개념 간의 임시 연결을 생성하는 바인딩 능력에 한계가 있으며, CoT(Chain of Thought) 없이는 간단한 추론 문제에서도 오류를 범하기 쉽습니다. 이를 개선하기 위해 작성자는 크로스 엔트로피 대신 별도의 학습 목표를 사용하여 작은 트랜스포머 모델이 이러한 바인딩을 학습할 수 있음을 입증했습니다. 관련 실험 코드와 로그는 GitHub(QueenOfTheUnderworld/Transformer-Binding)를 통해 공개되었습니다. 비록 소규모 실험이지만, LLM의 추론 성능을 향상시키기 위한 새로운 학습 접근 방식을 제시했다는 점에서 의의가 있습니다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.