병렬 샘플링의 원리

토큰을 하나씩, 순서대로 — 그래서 느리다

• LLM은 앞 토큰이 나와야 다음 토큰을 만드는 방식입니다 — 이렇게 하나씩 차례로 생성하는 것을 자기회귀라고 합니다
• 그래서 지연이 출력 길이에 비례합니다. 답이 길거나 추론이 깊을수록 시간이 계속 쌓입니다

모든 답을 '한 번의 쿼리'로 동시에

• JEV는 출력을 하나씩이 아니라 한 번에 다 같이 뽑습니다 — 순차 의존을 벗어난 이 방식을 비자기회귀(non-autoregressive)라고 합니다
• 순차 생성의 누적 지연이 사라지므로, 엔드투엔드가 70–500ms로 떨어집니다
• 결과적으로 프론티어 LLM 대비 40–200배 빠릅니다

💡 막대 길이 차이가 그대로 체감 속도 차이입니다. 초 단위 대기가 사라지고 '즉답'이 됩니다.

질문을 늘려도 응답 시간은 거의 그대로

💡 한 요청에 여러 질문을 담아도 병렬로 평가되어, 응답 시간은 거의 늘지 않고 추가 질문의 토큰 비용만 발생합니다.

실시간 UX와 대규모 배치를 동시에

• 병렬 구조는 하드웨어 친화적입니다 — 순차 대기로 놀던 연산 자원을 빈틈없이 채워 씁니다
• 왼쪽 숫자처럼 500ms 이하라서, 결정을 사용자 앞단(UX)에 그대로 끼워 넣어도 지연이 드러나지 않습니다
• 오른쪽 카드처럼 대규모 배치도 현실적으로 소화하니, map-reduce 파이프라인까지 같은 엔진으로 돌립니다

2-2강 한 장 요약

• ✓
  LLM은 자기회귀 — 토큰을 하나씩 순차 생성해 지연이 길이에 비례(3–329초)
• ✓
  JEV는 비자기회귀 — 모든 출력을 단일 쿼리로 병렬 생성(70–500ms, 40–200× 빠름)
• ✓
  질문을 여러 개 넣어도 병렬 평가 → 응답 시간 거의 그대로, 추가 토큰 비용만
• ✓
  하드웨어 친화적 → 실시간 UX 통합과 대규모 배치를 모두 만족