환경 모델을 데이터로 학습해보기

아주 단순한 환경 모델 학습을 직접 해보자.

🎯 실험 셋업

환경: 1차원 직선 세계. 위치 x 한 개만 상태.
진짜 규칙: x_next = 0.8 × x + a (우리는 이걸 "모른다"고 가정)
해야 할 일: 무작위 경험 데이터에서 이 규칙을 학습
학습 방식: 선형 회귀 (가장 단순한 신경망의 1층)

PYTHON

import numpy as np
np.random.seed(42)

# 가상의 환경: 1차원 직선 세계
# 진짜 규칙: x_next = 0.8 * x + a
# (우리는 이 규칙을 "모른다"고 가정한다)

# 1) 데이터 수집 — 무작위로 행동해서 (s, a, s') 튜플 200개 모은다
N = 200
states = np.random.uniform(-1, 1, N)
actions = np.random.uniform(-0.5, 0.5, N)
next_states = 0.8 * states + actions + np.random.normal(0, 0.01, N)

# 2) 환경 모델 학습 — 가장 단순한 선형 회귀
#    f(s, a) = w_s * s + w_a * a 형태를 학습한다
X = np.column_stack([states, actions])
y = next_states
w, *_ = np.linalg.lstsq(X, y, rcond=None)
print(f"학습된 가중치:  w_s = {w[0]:.3f}, w_a = {w[1]:.3f}")
print(f"진짜 가중치:    w_s = 0.800, w_a = 1.000")

# 3) 학습된 모델로 다음 상태 예측
def learned_next_state(s, a):
    return w[0] * s + w[1] * a

s, a = 0.5, 0.2
true_next = 0.8 * s + a
pred_next = learned_next_state(s, a)
print(f"\n테스트 — s=0.5, a=0.2")
print(f"  진짜 다음 상태:  {true_next:.3f}")
print(f"  예측 다음 상태:  {pred_next:.3f}")

print(f"\n← 환경 모델을 데이터로부터 학습했다.")
print(f"   이제 next_state 함수가 외부에 없어도")
print(f"   머릿속(신경망)에서 시뮬레이션할 수 있다.")

출력

기대 출력:

학습된 가중치:  w_s = 0.800, w_a = 0.998
진짜 가중치:    w_s = 0.800, w_a = 1.000

테스트 — s=0.5, a=0.2
  진짜 다음 상태:  0.600
  예측 다음 상태:  0.600

← 환경 모델을 데이터로부터 학습했다.
   이제 next_state 함수가 외부에 없어도
   머릿속(신경망)에서 시뮬레이션할 수 있다.

← 이전 왜 굳이 model을 학습하는가 다음 → 그게 그렇게 쉬운가 — 누적 오차의 함정