RLCD와 캘리브레이션

"확신 90%"가 실제로 90% 맞는 것

캘리브레이션(calibration)은 모델이 말하는 확신도가 실제 정답률과 일치하는 성질입니다. 확신 90%로 내린 결정들을 모아보면, 실제로 그중 약 90%가 맞아야 잘 보정된 것입니다.

💡 JEV(보라색)는 대각선 완벽 보정선에 딱 붙습니다(일치) — 확신 90%면 실제로 ≈90% 맞음. LLM(주황색)은 대각선 아래로 처져 같은 확신에도 실제 정답률이 낮습니다(과신). JEV의 목표는 '인식론적으로 정직한 확률' — 쉽게 말해 아는 만큼만 확신하고, 모르면 모른다고 말하는 확률입니다.

최적화 목표를 '캘리브레이션'으로 바꾸다

기존 LLM은 RLHF(인간 선호도)나 RLVR(검증가능 보상)로 학습합니다. JEV는 대신 RLCD(Reinforcement Learning for Calibrated Decisions) — 캘리브레이션된 결정을 목표로 학습합니다.

💡 "얼마나 그럴듯한가"가 아니라 "얼마나 확신해야 정직한가"를 직접 학습 신호로 삼은 것이 핵심 차이입니다.

확신도와 실제 정답률이 맞물린다

• LLM은 과신합니다 — 확신도와 실제 정답률이 벌어져 있어 그 숫자를 믿을 수 없습니다
• JEV는 확신도 ≈ 실제 정답률 — 두 막대가 거의 같은 길이로 맞물립니다
• 또한 일관성도 큽니다 — 비슷한 입력에는 비슷한 답을 냅니다 (LLM의 비일관성과 대비)

💡 위 수치는 개념 이해를 돕기 위한 예시입니다 — 과신(확신도 > 정답률)과 캘리브레이션(확신도 ≈ 정답률)의 차이를 보여줍니다.

신뢰도 기반 라우팅이 비로소 안전해진다

• 확신도를 믿을 수 있으니 임계값 기반 자동화가 실제로 안전해집니다
• "95%로 푸는 과제라면, 실패하는 5%를 스스로 알려준다" — 위험한 5%만 사람이 봅니다

2-3강 한 장 요약

• ✓
  캘리브레이션 = 확신도가 실제 정답률과 일치하는 성질(확신 90% → 실제 정답률 ≈90%)
• ✓
  JEV는 RLHF/RLVR 대신 RLCD로 학습 — 목표는 '인식론적으로 정직한 확률'(아는 만큼만 확신)
• ✓
  LLM의 과신·비일관과 달리, JEV는 확신도=정답률 · 비슷한 입력→비슷한 답
• ✓
  신뢰도 기반 라우팅이 안전해짐 — 높으면 자동, 낮으면 에스컬레이션