추론 시점 모델 정렬(Abliteration) 엔진, llama.cpp 및 Strata용 공개

요약

Reddit 커뮤니티인 r/LocalLLaMA에 추론 시간(Inference-time)에 모델을 제거(Abliteration)할 수 있는 엔진인 'AbliteratedOutTheBox'가 공개되었다. 개발자는 기존 llama.cpp 포크 버전과 함께 Strata 환경으로도 해당 후크(Hook)를 포팅했다고 밝혔다. 이 엔진을 사용하면 대규모 VRAM 사용이나 별도의 파인튜닝 과정 없이도 제거된(Abliterated) 모델을 쉽게 활용할 수 있다. 현재 Strata 버전은 실험적인 단계로, 전체 모델의 동작과 응답 품질에 대한 추가적인 검증이 필요한 상태다. 개발자는 Strata 환경에서 해당 기능을 테스트해 보고 피드백을 줄 사용자를 구하고 있다.

AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.