목록2025/09/16 (1)
토니의 연습장
Why Language Models Hallucinate
핵심 요약환각의 본질언어모델이 확실하지 않을 때도 그럴듯한 답을 "추측"하는 경향이 있음.이는 신비로운 현상이 아니라 이진 분류 오류의 자연스러운 결과. 사실과 오류를 구분하지 못하면 모델은 확률적으로 잘못된 답변을 만들어냄.왜 계속 발생하나?모델 학습 및 평가 절차가 "모른다"라고 답하는 것보다 추측하는 것을 보상하기 때문.특히 벤치마크 시험처럼 점수화된 평가에서, 추측은 성적을 올리지만 불확실성 인정은 감점되는 구조임.결국 모델은 "좋은 수험생"처럼 행동하도록 훈련되어, 신뢰성보다 점수 최적화로 치우침.해결책 제안새로운 환각 전용 평가를 만드는 대신, 기존 벤치마크의 채점 방식을 수정해야 함.불확실성 인정이 벌점이 아니라 적절히 반영되도록 바꿔야 AI가 더 신뢰할 수 있는 방향으로 발전할 수 있음.환..
AI 일반/논문, 구현
2025. 9. 16. 09:57