참고Reddit
체스 트랜스포머의 어텐션 헤드 1개 제거(ablation)로 인한 추론 성능 변화 사례
모델 내부 구조와 특정 능력 간의 인과관계를 보여주는 흥미로운 사례. 기계적 해석 연구에 관심 있는 개발자에게 유익함.
원문 제목 chessformer_lens demo: ablating 1 of a chess transformer's 128 attention heads makes the model stop finding Morphy's queen sacrifice [P]
원문 보기 ↗