DeepSeek-V4.1(딥시크 V4.1) 기반 로컬 법률 에이전트 구축 사례
V100 환경에서 로컬 모델을 활용해 복잡한 법률 하네스를 구현한 실전 엔지니어링 기록.
요약
한 개발자가 2018년산 V100 GPU 8개를 활용해 DeepSeek-V4.1-Flash 모델을 100% 로컬 환경에서 구동하는 법률 업무 자동화 도구를 구축했다. 해당 시스템은 524K 컨텍스트를 지원하며 초당 100토큰 이상의 속도와 NVFP4에 근접한 성능을 제공한다. 기존에는 Claude Opus 등 최상위 모델을 활용했으나, 모델의 성능 향상과 변경으로 인해 자체 통제(harness)가 어려워지면서 로컬 전환을 시도했다. 과거 여러 번의 로컬 모델 구현 실패를 겪었으나, 최근 DeepSeek Flash 1017 모델의 출시와 Opus 5.5 및 Fable 5.2의 최적화 기능 지원으로 실무 대체가 가능한 수준의 환경을 구현하게 되었다. 비록 최고 성능의 프론티어 모델에는 미치지 못하지만, 보안과 통제권 측면에서 실제 법률 업무에 즉시 활용할 수 있다는 점에서 의의가 있다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 [Crazy AI Lawyer] My Claude legal harness now runs 100% local on DeepSeek-V4.1-Flash: eight 2018 V100s at near-NVFP4 quality, 524K context, 100+ tok/s. Not as good as frontier, but it replaces real work today
원문 보기 ↗