시즌 1 · 알파고편

Ch 1 바둑판과 돌

점, 선, 교차점부터 시작

• 본문 시작하기 전에
• 본문 점과 선, 그리고 교차점
• 인터랙티브 5x5 보드에 직접 두어보기
• 코드 실행 바둑판을 코드로 표현하기
• 코드 실행 직접 수정해보기
• 퀴즈 확인 퀴즈
• 핵심 박스 챕터 1 정리

Ch 2 활로와 단수

돌이 살아 있다는 것

• 본문 돌은 어떻게 죽는가
• 본문 활로란 무엇인가
• 인터랙티브 활로를 눈으로 보기
• 코드 실행 코드로 활로 세기
• 코드 실행 도전: 가장자리 돌의 활로
• 인터랙티브 단수 — 활로가 단 1개
• 코드 실행 코드로 단수 감지
• 퀴즈 확인 퀴즈
• 핵심 박스 챕터 2 정리

Ch 3 따냄과 자살수

돌이 잡히는 순간

• 본문 잡힘이라는 순간
• 본문 따냄 — 활로 0이면 사라진다
• 인터랙티브 단일 돌 따냄 — Before / After
• 인터랙티브 그룹 — 운명을 공유하는 돌들
• 코드 실행 코드: 그룹 찾기 + 그룹 활로
• 인터랙티브 자살수 — 두면 자기가 죽는 수
• 코드 실행 코드: play() — 진짜 한 수
• 퀴즈 확인 퀴즈
• 핵심 박스 챕터 3 정리

Ch 4 패 규칙

같은 모양 반복 금지

• 본문 무한 루프를 막아라
• 인터랙티브 패 모양 — 무한 따냄의 씨앗
• 본문 패 규칙 — 직전 상태로 돌아가지 마라
• 코드 실행 코드: 패 규칙 적용 play()
• 본문 패 싸움이라는 전술
• 퀴즈 확인 퀴즈
• 핵심 박스 챕터 4 정리

Ch 5 집과 승부 판정

누가 더 많은 영역을 차지했나

• 본문 누가 이겼는가
• 본문 집이란 무엇인가
• 인터랙티브 집 시각화
• 코드 실행 코드: 집 찾기 (BFS 또 등장)
• 코드 실행 코드: 점수 계산 + 덤
• 본문 게임은 언제 끝나나
• 퀴즈 확인 퀴즈
• 핵심 박스 챕터 5 정리

Ch 6 Board 클래스 만들기

파이썬으로 5x5 바둑판 구현

• 본문 Board 클래스 — 흩어진 함수를 한 덩어리로
• 본문 클래스 설계
• 코드 실행 코드 1부: 구조 + 그룹 메서드
• 코드 실행 코드 2부: play() + score()
• 코드 실행 실전: 짧은 대국 시뮬레이션
• 퀴즈 확인 퀴즈
• 핵심 박스 챕터 6 정리

Ch 7 5x5는 풀렸다

완전분석 결과: 흑이 25집 이긴다

• 본문 5x5는 풀린 게임이다
• 본문 완전분석: 흑이 25집 차로 이긴다
• 본문 왜 PART 2부터는 7x7로 가는가
• 본문 PART 1 회고 — 우리가 만든 것
• 핵심 박스 PART 2 예고 — 게임을 푸는 첫 방법

Ch 1 게임 트리란

• 본문 게임을 트리로 보다
• 인터랙티브 트리의 해부 — 노드, 간선, 깊이, 분기 인자
• 인터랙티브 틱택토의 완전 트리
• 코드 실행 코드: 게임 상태 노드 + DFS
• 본문 바둑의 트리는 얼마나 큰가
• 핵심 박스 챕터 1 정리

Ch 2 Minimax

• 본문 Minimax — 게임 알고리즘의 출발점
• 인터랙티브 MAX와 MIN — 누구의 차례인가
• 인터랙티브 점수 전파 — Leaf에서 Root로
• 코드 실행 코드: Minimax 재귀
• 본문 깊이 제한 + Heuristic — 끝까지 못 갈 때
• 코드 실행 코드: 최선의 수 반환하기
• 퀴즈 확인 퀴즈
• 핵심 박스 챕터 2 정리

Ch 3 알파-베타 가지치기

• 본문 알파-베타 — minimax의 마법
• 본문 α(알파)와 β(베타) — 두 경계
• 인터랙티브 가지치기 단계별로 — 시각화
• 코드 실행 코드: 알파-베타 minimax
• 본문 수 순서 — 가지치기 효율의 비밀
• 코드 실행 코드: 수 순서 효과 측정
• 핵심 박스 챕터 3 정리

Ch 4 탐색 공간 폭발: 10^170

• 본문 10^170 이라는 수
• 본문 분기 인자 b — 왜 그렇게 큰가
• 코드 실행 같은 시간에 볼 수 있는 깊이
• 본문 바둑은 평가 함수도 어렵다
• 본문 알파고 이전 — 컴퓨터 바둑의 역사
• 핵심 박스 챕터 4 정리

Ch 5 틱택토 minimax 직접 구현

• 본문 진짜 풀어볼 시간
• 코드 실행 게임 상태 클래스
• 코드 실행 Minimax + 알파-베타 적용
• 인터랙티브 AI vs AI — 항상 무승부
• 코드 실행 사람이 실수하면 — AI의 응징
• 퀴즈 확인 퀴즈
• 핵심 박스 챕터 5 정리

Ch 6 7x7 바둑에 minimax 시도, 실패 체험

• 본문 같은 알고리즘, 다른 게임
• 코드 실행 평가 함수의 첫 시도
• 코드 실행 분기 인자 직접 측정
• 코드 실행 7x7 minimax 실전 시도
• 본문 실패의 의미 — 새 알고리즘이 필요하다
• 핵심 박스 챕터 6 & PART 2 정리

Ch 1 몬테카를로 시뮬레이션 (rollout)

• 본문 평가 함수가 없으면? — 무작위로 끝까지 둔다
• 본문 Rollout 한 번 — 무작위 게임의 모습
• 코드 실행 코드: 무작위 게임 1번 + 승자 판정
• 코드 실행 코드: 자리별 승률 측정 (Pure Monte Carlo)
• 본문 Pure Monte Carlo의 한계
• 핵심 박스 챕터 1 정리

Ch 2 UCB1 — 탐험 vs 활용

• 본문 한정된 시간, 무한한 선택지
• 본문 탐험 vs 활용 — 영원한 딜레마
• 본문 UCB1 공식 — 한 줄
• 코드 실행 코드: UCB1로 슬롯머신 풀기
• 본문 게임에서 UCB1 적용
• 퀴즈 확인 퀴즈
• 핵심 박스 챕터 2 정리

Ch 3 MCTS 4단계

• 본문 MCTS — UCB1을 트리에 적용하면
• 본문 4단계를 그림으로
• 코드 실행 코드: MCTS 노드 클래스
• 코드 실행 코드: 1번의 MCTS Iteration
• 코드 실행 코드: 완성된 MCTS — best_move 함수
• 본문 비대칭으로 자라는 트리
• 핵심 박스 챕터 3 정리

Ch 4 순수 MCTS로 7x7 바둑

• 본문 7x7 바둑에 MCTS — Ch 6 응징
• 코드 실행 코드: 7x7 바둑 MCTS
• 코드 실행 Iteration 수와 결과 품질
• 코드 실행 코드: MCTS vs Minimax 정면 대결
• 본문 왜 MCTS가 더 강한가 — 알고리즘 본질
• 핵심 박스 챕터 4 정리

Ch 5 무작위 시뮬레이션의 한계

• 본문 MCTS도 만능은 아니다
• 본문 약점 1: 무작위 Rollout의 품질
• 본문 약점 2: 함정 패턴 — 통계로 안 보임
• 본문 약점 3: 19x19 정체기 (2010~2014)
• 본문 PART 4 예고 — 신경망이 들어와야 하는 이유
• 핵심 박스 챕터 5 & PART 3 정리

Ch 1 퍼셉트론에서 MLP까지

• 본문 신경망의 시작 — 단 하나의 뉴런
• 본문 퍼셉트론의 해부
• 코드 실행 코드: 퍼셉트론 — 5줄
• 본문 XOR 문제 — 한 뉴런의 한계 (1969 AI 겨울)
• 본문 다층 퍼셉트론 (MLP)
• 코드 실행 코드: MLP forward pass — XOR 풀기
• 본문 학습이란? — 손실 함수와 경사 하강
• 핵심 박스 챕터 1 정리

Ch 2 CNN: 바둑판은 이미지다

• 본문 왜 MLP만으로는 부족한가
• 본문 합성곱(Convolution) — 작은 필터로 패턴 감지
• 코드 실행 코드: 합성곱 직접 구현
• 본문 전체 CNN 구조 — 합성곱 + 풀링 + Dense
• 본문 바둑판은 왜 이미지인가
• 핵심 박스 챕터 2 정리

Ch 3 Policy Network

• 본문 Policy Network — 사람의 직관 학습
• 본문 입력과 출력 — 정확한 정의
• 코드 실행 Softmax — 점수를 확률로
• 코드 실행 코드: 작은 Policy Network
• 본문 Policy Network를 MCTS에서 사용하기
• 핵심 박스 챕터 3 정리

Ch 4 Value Network

• 본문 Value Network — 단 하나의 숫자
• 본문 입력과 출력 — 단 하나의 숫자
• 본문 학습 — 최종 결과로부터 거꾸로
• 코드 실행 코드: 작은 Value Network
• 본문 MCTS + Value Network
• 핵심 박스 챕터 4 정리

Ch 5 작은 CNN 만들기 (7x7)

• 본문 7x7 CNN — 모든 부품을 합치자
• 코드 실행 코드: Padding 추가한 합성곱
• 코드 실행 코드: 완성된 7x7 CNN Policy Network
• 코드 실행 학습 후의 모습 — 시뮬레이션
• 핵심 박스 챕터 5 정리

Ch 6 기보로 policy net 지도학습

• 본문 드디어 진짜 학습 — 사람의 직관을 신경망에
• 본문 학습 데이터 형식
• 본문 손실 함수 — Cross Entropy
• 코드 실행 코드: 합성 데이터로 학습 시범
• 본문 알파고의 실제 학습
• 핵심 박스 챕터 6 & PART 4 정리

Ch 1 SL Policy Network

• 본문 PART 5 시작 — 알파고를 만들 시간
• 본문 48 채널 입력 — 도메인 지식의 인코딩
• 본문 SL 학습 — 디테일
• 본문 Fast Rollout Policy — 작은 형제
• 본문 SL Policy의 한계 — 사람을 흉내내는 게 진짜 강한가?
• 핵심 박스 챕터 1 정리

Ch 2 RL Policy Network

• 본문 강화학습 — 흉내내기에서 이기기로
• 본문 Policy Gradient — 이기는 수의 확률을 높이기
• 본문 자가 대국 — 데이터 자기 생성
• 본문 RL Policy의 한계 — Value가 필요한 이유
• 핵심 박스 챕터 2 정리

Ch 3 Value Network

• 본문 Value Network — 알파고의 가장 큰 ELO 기여
• 본문 학습 데이터 생성 — 3,000만 보드
• 본문 학습 디테일
• 본문 Value + Rollout 혼합 — 왜?
• 핵심 박스 챕터 3 정리

Ch 4 MCTS + 신경망 = PUCT

• 본문 PUCT — 알파고의 핵심 알고리즘
• 본문 PUCT 공식 — 자세히
• 본문 새 MCTS — 네 신경망 통합
• 본문 최종 수 선택 — 가장 많이 방문된 자식
• 본문 알파고 전체 그림
• 핵심 박스 챕터 4 정리

Ch 5 이세돌 4국 신의 한 수

• 본문 2016년 3월 — 알파고 vs 이세돌
• 본문 78수 직전 — 위기의 상황
• 본문 78수 — "신의 한 수"
• 본문 알파고의 혼란 — 79~100수
• 본문 4국의 역사적 의미
• 핵심 박스 챕터 5 정리

Ch 6 7x7 미니 알파고 구현

• 본문 7x7 미니 알파고 — 우리가 알파고를 만든다
• 코드 실행 코드: 7x7 미니 알파고 통합
• 코드 실행 코드: 미니 알파고끼리 자가 대국
• 본문 시즌 1 회고 — 우리가 만든 것
• 핵심 박스 시즌 1 완결 — 그리고 시즌 2 예고

Ch 1 백지에서 시작 (tabula rasa)

• 본문 PART 6 — AlphaGo Zero (2017)
• 본문 왜 "백지에서 시작"이 더 강한가
• 본문 자가 대국만으로 학습 — 데이터 자기 생성
• 본문 AlphaGo Zero가 스스로 발견한 것들
• 핵심 박스 챕터 1 정리

Ch 2 policy + value 합치기

• 본문 하나의 신경망, 두 가지 출력
• 본문 잔차 블록 (Residual Blocks) — 더 깊은 신경망
• 본문 통합 손실 함수 — 한 번에 두 출력 학습
• 본문 MCTS visits = Policy 정답 — 핵심 통찰
• 핵심 박스 챕터 2 정리

Ch 3 self-play 루프

• 본문 Self-play 루프 — 학습의 전체 그림
• 본문 Stage 1: 자가 대국으로 데이터 생성
• 본문 Stage 2: 신경망 학습
• 본문 Stage 3: 평가 — 새 모델 채택 여부 결정
• 핵심 박스 챕터 3 정리

Ch 4 7x7 학습 파이프라인

• 본문 7x7 학습 파이프라인 — 진짜 학습 코드
• 코드 실행 코드: 자가 대국 한 게임
• 코드 실행 코드: 학습 한 단계 — 신경망 갱신
• 본문 전체 파이프라인 요약
• 핵심 박스 챕터 4 정리

Ch 5 학습 곡선 실험

• 본문 학습 곡선 실험 — 정말 학습되나?
• 코드 실행 코드: 작은 학습 실험 — 손실 곡선
• 본문 AlphaGo Zero 실제 학습 곡선
• 본문 PART 6 전체 정리
• 핵심 박스 PART 7 예고 — AlphaZero (체스, 쇼기까지)

Ch 1 같은 코드로 여러 게임

• 본문 AlphaZero (2017 12월) — 일반화의 시대
• 본문 게임 인터페이스 — 알고리즘 vs 게임 분리
• 본문 MCTS의 게임 독립성
• 핵심 박스 챕터 1 정리

Ch 2 도메인 지식 제거

• 본문 진짜 일반화를 위해 — 마지막 도메인 지식 제거
• 본문 대칭은 안 써도 학습되나?
• 본문 평가 단계 제거 — 다양성의 힘
• 핵심 박스 챕터 2 정리

Ch 3 틱택토/커넥트포 학습

• 본문 같은 알고리즘, 다른 게임
• 코드 실행 코드: 틱택토 Game 인터페이스
• 본문 커넥트포 — 같은 알고리즘, 다른 규칙
• 핵심 박스 챕터 3 정리

Ch 4 일반화의 의미

• 본문 일반화의 의미 — AlphaZero가 시사한 것
• 본문 현대 AI에 미친 영향
• 본문 시즌 1 회고 — 우리가 본 4년의 역사
• 핵심 박스 시즌 1 완결 + 시즌 2 예고