챕터 4 정리

📌 챕터 4에서 배운 것

• PUCT = Q(s,a) + c·P(s,a)·√N/(1+n) — UCB1의 진화형
• 핵심 변화: Policy network 확률 P(s,a)가 탐험에 가중치
• "명백히 약한 자리는 시도조차 안 함" — 시간 100배 효율
• 알파고 MCTS 4단계: Select(PUCT) → Expand(SL Policy) → Evaluate(Value+Rollout) → Backup
• 한 iteration ≈ 7~8ms, 1수에 50,000 iteration
• 최종 수: visits 최대 자식 (PUCT 최대 아님)
• 4 학습 모델 통합: SL Policy + RL Policy + Fast Rollout + Value