참고팁X
LLM 추론 성능 높이는 '닷(dot) 트릭' 화제
질문 뒤에 점을 추가해 토큰을 강제로 생성하게 함으로써 복잡한 추론 성능을 높이는 프롬프트 기법.
요약
최신 프런티어 LLM에게 '1900 더하기 모차르트 사망 시 나이의 해에 노벨 화학상을 받은 사람은?'과 같은 다단계 추론 질문을 던지면 즉각적인 답변을 하지 못하는 경우가 많다. 하지만 동일한 질문 뒤에 마침표 300개를 추가하여 입력하면 LLM이 갑자기 정답을 제시하는 현상이 발견되었다. 이는 LLM이 연산이나 추론을 수행할 시간을 벌어주지 않는 상태에서는 성능이 저하되지만, 단순히 토큰을 늘리는 것만으로도 모델의 추론 능력이 개선될 수 있음을 시사한다. 이러한 현상은 프런티어 모델이 복잡한 문제를 해결할 때 충분한 사고 과정이나 처리 시간이 확보되어야 함을 보여준다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 @kaleybrauer: If you ask a frontier LLM a multi-hop reasoning question, e.g., "Who won the Nobel Prize for Chemistry in (1900 + Mozart's age whe
원문 보기 ↗