참고Reddit
허깅페이스, DNA 서열과 텍스트를 동시에 이해하는 오픈소스 모델 'Carbon-X' 공개
14.8B 파라미터로 DNA 데이터 처리에 특화. 생명과학 분야 도메인 모델 개발 시 로컬 런타임 고려 가능.
요약
Carbon-X는 DNA 염기서열과 텍스트를 동시에 학습한 14.8B 파라미터 규모의 디코더 전용 오픈소스 모델로, 원시 DNA 데이터를 입력받아 영어로 응답할 수 있습니다. 6-mer 토큰을 활용해 텍스트와 DNA를 하나의 토큰 스트림으로 처리하며 총 302B 토큰으로 학습되었습니다. 성능 면에서는 DNA 관련 5개 벤치마크에서 평균 66.7%의 정확도를 기록해 GPT-6.1 Sol(67.5%)과 유사한 수준을 보였습니다. 모델 가중치는 bfloat16 기준 80GB GPU 한 대에서 구동 가능하며 Apache 2.0 라이선스로 공개되었습니다. 다만 임상적 검증이 이루어지지 않았고 정확한 서열 연산은 코드로 처리할 것을 권장하므로, 민감한 데이터셋을 다루는 연구의 로컬 분석 환경 구축에 활용도가 높을 것으로 기대됩니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 Carbon-X is an open 14.8B model trained jointly on DNA and text [R]
원문 보기 ↗