코드: MLP forward pass — XOR 풀기

출력을 보면 — XOR 완벽 동작:

(0,0) → h1=0(OR이 0), h2=0(AND가 0) → y=0 ✓
(0,1) → h1=1(OR이 1), h2=0(AND가 0) → y=1 ✓
(1,0) → h1=1, h2=0 → y=1 ✓
(1,1) → h1=1(OR이 1), h2=1(AND가 1) → y=0 ✓

🎯 핵심 통찰

(1,1) 케이스가 키 — OR도 참, AND도 참. 출력 뉴런이 "OR이지만 AND가 아닐 때만 1"이라는 패턴을 학습 (W2=[20,-20]). h2의 음수 가중치가 결정적.

이 단순한 2층 구조가 1969년 Minsky-Papert가 "못 한다"고 한 문제를 푼다. 층을 쌓는 게 답이었다.

💡 코드의 우아함

MLP forward pass도 단 2줄:

h = sigmoid(W1 @ x + b1)
y = sigmoid(W2 @ h + b2)

층이 100개든 1000개든 같은 패턴 반복. W @ x + b → 활성화 → 다음 층의 입력. 알파고도, GPT도, 모두 이 패턴.

⚠️ 그러나 — 가중치는 어떻게 학습?

위 예에서는 가중치를 손으로 정했어 (OR, AND, NOT AND를 안다고 가정). 실제 문제에서는 데이터만 있고 정답 함수를 모름.

그러면 가중치를 어떻게 자동으로 찾지? — 역전파(Backpropagation). 다음 페이지.

PYTHON

# MLP로 XOR 풀기. 학습 없이 손으로 가중치 정해서.
# 은닉 뉴런 2개, 출력 뉴런 1개.

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def mlp_forward(x, W1, b1, W2, b2):
    """입력 x → 은닉층 → 출력. 'forward pass'."""
    # 은닉층: 입력 x를 W1으로 변환
    h = sigmoid(W1 @ x + b1)
    # 출력층: 은닉층 h를 W2로 변환
    y = sigmoid(W2 @ h + b2)
    return y, h


# === 손으로 가중치 정하기 (XOR 풀기) ===
# 은닉 뉴런 1: OR 학습 → w=[20,20], b=-10
# 은닉 뉴런 2: AND 학습 → w=[20,20], b=-30
# 출력 뉴런: OR AND (NOT AND) = h1 AND (NOT h2) → w=[20,-20], b=-10
# (큰 값으로 sigmoid를 거의 step처럼 만든다)

W1 = np.array([[20.0, 20.0],   # OR
               [20.0, 20.0]])  # AND
b1 = np.array([-10.0, -30.0])

W2 = np.array([20.0, -20.0])   # h1 AND (NOT h2)
b2 = -10.0

print("=== XOR을 MLP로 풀기 ===")
print(f"은닉층 W1 = \n{W1}")
print(f"은닉층 b1 = {b1}")
print(f"출력층 W2 = {W2}, b2 = {b2}")
print()
print(f"{'x1':>3} {'x2':>3} | {'h1(OR)':>8} {'h2(AND)':>8} | {'y':>8} | {'결과':>5} | {'XOR 정답':>8}")
print("-" * 65)

for x1, x2 in [(0,0), (0,1), (1,0), (1,1)]:
    x = np.array([x1, x2])
    y, h = mlp_forward(x, W1, b1, W2, b2)
    result = 1 if y > 0.5 else 0
    truth = x1 ^ x2
    match = "✓" if result == truth else "✗"
    print(f"{x1:>3} {x2:>3} | {h[0]:>8.4f} {h[1]:>8.4f} | {y:>8.4f} | {result:>5} | {truth:>5} {match}")

print()
print("✅ 한 뉴런으로는 못 풀었던 XOR을 MLP로 풀었다.")
print("   1969~1986 AI 겨울을 끝낸 그 발견 — 우리가 직접 검증.")

출력

기대 출력:

=== XOR을 MLP로 풀기 ===
은닉층 W1 = 
[[20. 20.]
 [20. 20.]]
은닉층 b1 = [-10. -30.]
출력층 W2 = [ 20. -20.], b2 = -10.0

 x1  x2 |   h1(OR)  h2(AND) |        y |    결과 |   XOR 정답
-----------------------------------------------------------------
  0   0 |   0.0000   0.0000 |   0.0000 |     0 |     0 ✓
  0   1 |   1.0000   0.0000 |   1.0000 |     1 |     1 ✓
  1   0 |   1.0000   0.0000 |   1.0000 |     1 |     1 ✓
  1   1 |   1.0000   1.0000 |   0.0000 |     0 |     0 ✓

✅ 한 뉴런으로는 못 풀었던 XOR을 MLP로 풀었다.
   1969~1986 AI 겨울을 끝낸 그 발견 — 우리가 직접 검증.

← 이전 다층 퍼셉트론 (MLP) 다음 → 학습이란? — 손실 함수와 경사 하강