less than 1 minute read

Functions

Intro. of Functions

Types of Functions

Important Functions

Logistic and Softmax

logistic function.

  • binary classification에서 사용되며, 일종의 score를probability로 바꾸어줌.
  • activation function으로 heaviside function 를 대체하여
  • back-propagation이 DL에 적용되는데 공헌.
  • 현재는 activation function으로는 많이 사용되지 않음 (ReLU에 의해 대체됨.)

softmax function

  • multi-class classification에서 사용되며, logistic function의 generalization임.
  • logistic function과 함께, classification을 위한 모델의 출력함수로 사용됨.

Logarithmic Function and Exponential Function

Log 의 경우, ML과 DL에서 주로 확률과 함께 많이 사용됨.

  • Entropy 나 Likelihood 계산에서 이용됨.
  • 작은 확률값으로 발생하는 문제를 개선 (작은 범위의 값에 민감)
  • 확률의 곱을 덧셈으로 바꿔줌.

Exponential 의 경우는

  • Sigmoids의 대표인 Logistic 에서 활용됨: Classification 의 출력.
  • Gaussian Distribution에서도 사용되고,
  • 무엇보다 미적분 연산에 대해 Eigen function이라는 장점을 가져 공학적 활용도가 높음.
  • learning rate 조정에서도 핵심적인 역할.

Categories:

Updated: