참고Reddit
로컬 LLM 128K 컨텍스트 성능 테스트: RTX 3090 환경에서 '카운팅' 능력의 한계 확인
128K 대규모 컨텍스트를 로컬 GPU에서 운용 시 특정 인지 및 카운팅 작업의 정확도 저하 문제를 확인한 실사용 사례.
원문 제목 Round 3: Tested 128K context on a 3090 with real code (Django) and a novel. Finding one thing is solid, counting is hopeless
원문 보기 ↗