1. 강화학습에서 편미분과 경사하강법의 표기법

$$ 일반수식 : 편미분 →\nabla f(x,y) = \left(\cfrac{\partial f}{\partial x},\cfrac{\partial f}{\partial y}\right)

$$

$$ 강화학습 : 편미분 →\nabla _wJ(w) = \left(\cfrac{\partial J(w)}{\partial w_1},...,\cfrac{\partial J(w)}{\partial w_n}\right)

$$

$$ 일반수식 : 경사하강법 → \Delta (x,y) = - \cfrac{1}{2} \propto \nabla f

$$

$$ 강화학습 : 경사하강법 → \Delta w = - \cfrac{1}{2} \propto \nabla_w J(w)

$$

• 강화학습에서는 다양한 변수를 사용하는 경우를 고려해서 변수를 $w$를 사용하여 일반화함.
• $w$는 $w_1$부터 $w_n$까지 시스템에서 사용하는 모든 변수를 의미함.
• 함수는 $f$ 대신 $J$로 나타냄.

2. 함수 근사법

앞에서 살펴본 항해 환경을 배열로 나타내보면 위의 그림과 같다.

탐욕적 알고리즘을 사용해서 정책을 결정할 경우 행동 가치 함수가 가자 큰 행동을 선택(argmax)하는 것이 정책이다.

하지만 ****action value가 실수일 경우 범위가 너무 커서 배열로 표현할 수 없다. 이때 근사 함수가 사용된다. 강화학습에서는 인공신경망을 근사 함수로 사용한다.

이를 수식을 통해 알아보자.

$$ \hat{v}(s,w) \approx v_\pi(s) $$

$$ \hat{q}(s,a,w) \approx q_\pi(s,a) $$

• 우변 → 일반적인 상태 가치 함수와 행동 가치 함수
• 좌변 → 가중치($w$)와 편향($b$)로 표현되는 인공신경망을 활용해 상태 가치 함수와 행동 가치 함수를 근사한 식

→ 정확한 계산을 하기 위해 가중치($w$)와 편향($b$)을 구해야 함.