26.2.3 ReLu를 사용할 때의 가중치 초기값
지난 포스팅에서 본 Xavier 초기값은 활성화 함수가 선형인 것을 전제로 이끈 결과이다.
시그모이드 함수와 tanh(하이퍼볼릭 탄젠트) 함수는 좌우 대칭이기 때문에 중앙 부근이 선형인 함수로 볼 수 있다.
따라서 Xavier초기값을 사용하기에 적절하다.
하지만 ReLu함수를 사용할 때는 ReLu에 특화된 초기값을 권장한다. (not xavier)
He 초기값
He 초기값은 앞 계층의 노드가 n개일 때, 표준편차가 √(2 /n) 인 정규분포를 사용한다.
(Xavier 초기값: 표준편차 1 / √n )
'밑바닥 딥러닝' 카테고리의 다른 글
| Ch 07-2 합성곱 신경망 (CNN) (0) | 2023.06.04 |
|---|---|
| Ch 07-1 합성곱 신경망 (CNN) (0) | 2023.06.04 |
| Ch 6-1 학습 관련 기술들 (0) | 2023.05.29 |
| Ch 5-2 오차 역전파 (Error BackPropagation) (0) | 2023.05.27 |
| Ch 5-1 오차 역전파 ( Error Backpropagation ) (0) | 2023.05.27 |