참고팁Reddit
EU AI Act 규제 텍스트 전용 RAG 데이터셋 공개
EU AI Act 기반의 RAG 구축 시 법률 텍스트 청킹과 임베딩 처리에 활용 가능한 구조화된 데이터셋.
요약
최근 Reddit의 MachineLearning 커뮤니티에 RAG 및 법률 NLP 실험을 위한 'EU AI Act OpenRAG' 데이터셋이 공개되었습니다. 이 데이터셋은 Regulation (EU) 2024/1689의 법적 구조를 반영하여 조항, 서문, 정의, 부속서 포인트 단위로 933개의 덩어리로 구성되었습니다. SQLite 파일 형태로 제공되며, 각 청크에는 1024차원의 정규화된 BGE-M3 임베딩이 포함되어 있습니다. 또한 정확한 EUR-Lex 링크, 조항 113의 적용 날짜 메타데이터, 좁은 범위의 파생 라벨이 함께 저장되어 활용도를 높였습니다. 데이터셋은 직접적인 텍스트 분류와 규제 체계 연관성을 별도로 구분하여 저장하며 모호한 사례는 NULL로 처리하였습니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 EU AI Act OpenRAG: 933 legally structured chunks and BGE-M3 embeddings in one SQLite file [P]
원문 보기 ↗