강화학습 심화 완벽 가이드! ChatGPT의 비밀 RLHF 3단계 프로세스, PPO 클리핑 메커니즘 수식 분석. DPO: 보상 모델 없이 메모리 50% 절감, RLHF와 수학적 동등성. DeepSeek-R1의 GRPO: Critic 없이 그룹 상대 점수로 추론 능력 자동 발현! PPO vs DPO vs GRPO 선택 가이드까지!