참고팁Hacker News
Qwen3.8(큐원 3.8)-27B 멀티 에이전트 프레임워크 'Memdoor', LiveCodeBench 성능 검증
5개 모델의 협업 워크플로우로 벤치마크 고득점 달성. 오픈소스 에이전트 설계 및 프롬프팅 참고 사례.
요약
Memdoor는 5개의 Qwen3.8-27B 모델을 활용한 멀티 에이전트 워크플로우로, 프로그래밍 문제 해결 성능에서 Fable 5를 능가하는 결과를 보였다. 해당 시스템은 플래너, 아이디어 제시자, 해결자, 관리자, 수리 작업자 등 5가지 역할을 분담하며 파일 기반으로 소통하는 구조를 갖췄다. LiveCodeBench Hard의 상위 10개 문제를 대상으로 5회 반복 테스트한 결과, Memdoor는 평균 9.8점을 기록하여 Fable 5의 8.0점을 상회했다. GVS5H의 방식을 차용하여 Qwen3.8-27B 모델에서 재구현한 이 워크플로우는 총 50회의 테스트 중 49회를 해결했다. 전체 50회 실행에는 약 35.79달러의 비용이 소요되었으며, 모든 실행 과정과 결과 데이터는 공개되었다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Memdoor: A team of 5 Qwen3.8-27B models beats Fable 5 on LiveCodeBench Hard
원문 보기 ↗