참고팁Reddit
COBOL-Python(파이썬) 코드 변환 벤치마크: 예제 통과와 실제 정확도의 간극
LLM 코드 생성 시 예제 통과가 실제 로직 오류를 완벽히 방어하지 못함을 입증. 차등 테스트(Differential Testing) 방법론 참고.
요약
최근 LLM을 활용한 COBOL에서 Python으로의 코드 변환 성능을 검증한 벤치마크 결과, 프롬프트에 제공된 예시에서는 약 99%의 성공률을 보였으나 실제 숨겨진 테스트에서는 82~91%의 정확도에 그치는 것으로 나타났습니다. 이번 실험은 GnuCOBOL을 오라클로 활용해 Rosetta Code 및 Open Mainframe Project 등에서 가져온 50개의 프로그램을 대상으로 진행되었습니다. 연구진은 모델이 소스 코드와 2개의 입출력 예시를 본 뒤 Python 코드를 생성하게 했으며, 평가는 생성된 값과 PICTURE 경계값 등 숨겨진 입력 데이터를 통해 이루어졌습니다. 이는 LLM이 단순 예시 통과와 실제 기능적 정확도 사이에서 상당한 괴리를 보일 수 있음을 시사합니다. 코드 변환 모델의 성능을 평가할 때는 겉으로 보이는 예시 통과율보다 다양한 엣지 케이스를 포함한 엄격한 테스트가 필수적입니다.
AI가 원문을 요약한 내용으로, 부정확할 수 있습니다.
원문 제목 LLM COBOL-to-Python translations pass ~99% of the examples shown in the prompt but 82-91% of hidden tests: a differential-testing benchmark
원문 보기 ↗