Opus5 는 환각율이 더 높은 것 같습니다.

3일 전부터 집중적으로 테스트 중입니다만, 4.8 보다도 환각이 더 심하다고 느껴집니다. 가장 큰 문제점이 팩트체크를 안 하고 답변하는 부분으로, 코딩시에도 필수 사항을 확인하지 않고 대충 설계, 배선하는 부분인데 4.8보다 더 빈도가 높이져서 살짝 짜증스럽네요. 여전히 codex에게 감사 역할을 부여하거나 울트라코드 모드+goal문서 준수 형태로 돌려야 할 것 같습니다. -------- 조사를 해보니.... Anthropic 공식 수치도 환각 증가를 보여줍니다 시스템 카드의 AA-Omniscience 폐쇄형 지식 평가에서: 모델 정답 오답·환각 답변 거부 Opus 4.8 약 60% 약 17% 약 23% Opus 5 약 71% 약 22% 약 7% 즉 Opus 5는 정답률이 약 11%p 올라갔지만, 환각도 약 5~6%p 증가했습니다. Anthropic도 이를 “전체적으로는 더 정확하지만 사실 주장을 약간 더 환각한다”고 직접 표현했습니다. 핵심은 Opus 5가 4.8보다 훨씬 덜 기권한다는 점입니다. 예전에는 “모르겠다”고 했을 질문에도 답을 시도하므로, 정답과 오답이 동시에 늘어난 구조입니다.