활성화함수
-
[NLP] 신경망의 활성화 함수들 (Activation Functions of Neural Network)ML/NLP 2020. 3. 13. 00:19
퍼셉트론의 장단점 퍼셉트론은 장단점이 있다. 퍼셉트론? 관련 게시물> https://dokylee.tistory.com/23?category=379193 장점은 퍼셉트론으로 복잡한 함수도 표현할 수 있다는 것 단점은 가중치를 설정하는 작업은 여전히 사람이 수동으로 한다는 것 신경망은 퍼셉트론의 단점을 해결해준다. 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력이 신경망의 중요한 성질이다. 퍼셉트론에서 신경망으로 이렇게 생긴 것이 신경망이다. 퍼셉트론이랑 별 차이 없어 보이는데 맞다 차이가 없다고 한다. 근데 개념이 하나 더 추가되긴 한다. 살펴보자. 퍼셉트론 복습을 잠깐 하자면, 퍼셉트론을 수식으로 나타내면 위와 같다고 했다. (이전 포스팅에서) [figure 1]을 더 간결한 형태로 ..