[Deep learning] Activation Function(활성화 함수) 개념

1. Activation Function의 사용이유 딥러닝의 신경망을 공부하다 보면, 활성화 함수에 대해 알 수 있다. 활성화 함수란, 출력값을 활성화를 일으키게 할 것인가를 정하고 그 값을 부여하는 함수라고 할 수 있다. 활성화 함수의 사용이유는 Data를 비선형으로 바꾸기 위해서이다. 그런데 왜 비선형으로 바꾸는가? 사실 우리는 딥러닝을 배울 때, 선형시스템에 대해 배운다. 선형은 쉽지만, 망이 깊어지지않는 단점이 있다. 신경망으로 설명해 보면 선형을 이용하여 아무리 복잡하게 만들고 싶어서 hidden layer가 하나 밖에 안나온다. 식으로 보면 상수인 a, b가 있고 변수인 x, y가 있다면, f(ax + by) = af(x) + bf(y)의 성질을 가졌기 때문에 망이 아무리 깊어져도 hidden..
인공지능(Artificial Intelligence)/딥러닝(Deep Learning) 2020. 9. 25. 04:10
1
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2024/12   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31
글 보관함