[Math] Week 02
Functions
Intro. of Functions
Types of Functions
Important Functions
Logistic and Softmax
logistic function.
- binary classification에서 사용되며, 일종의 score를probability로 바꾸어줌.
- activation function으로 heaviside function 를 대체하여
- back-propagation이 DL에 적용되는데 공헌.
- 현재는 activation function으로는 많이 사용되지 않음 (ReLU에 의해 대체됨.)
softmax function
- multi-class classification에서 사용되며, logistic function의 generalization임.
- logistic function과 함께, classification을 위한 모델의 출력함수로 사용됨.
Logarithmic Function and Exponential Function
Log 의 경우, ML과 DL에서 주로 확률과 함께 많이 사용됨.
- Entropy 나 Likelihood 계산에서 이용됨.
- 작은 확률값으로 발생하는 문제를 개선 (작은 범위의 값에 민감)
- 확률의 곱을 덧셈으로 바꿔줌.
Exponential 의 경우는
- Sigmoids의 대표인 Logistic 에서 활용됨: Classification 의 출력.
- Gaussian Distribution에서도 사용되고,
- 무엇보다 미적분 연산에 대해 Eigen function이라는 장점을 가져 공학적 활용도가 높음.
- learning rate 조정에서도 핵심적인 역할.