미분은 쉽게 말해 변화율, 또는 기울기. 함수의 어떤 지점에서 접선의 기울기가 얼마인지 알려주는 것이다.
- 함수 f(x)의 미분: f'(x) 또는 df/dx
- 이것은 x가 아주 조금 변할 때 f(x)가 얼마나 변하는지 보는 것
(+ 도함수: 함수의 미분계수 값을 함수화 시킨 것)
머신 러닝은 데이터로부터 패턴을 학습한다.
학습 과정은 곧 모델의 예측과 실제 값 사이의 오차를 최소화하는 방향으로 모델의 내부 값(가중치, 편항 등)을 조정하는 과정이다.
이때 오차를 최소화하기 위해서 어떤 방향으로 값을 조정해야 하는지 알려주기 위한 것이 미분이다.
기울기가 양수일 때: 그 방향으로 가면 함수의 값은 증가한다.
기울기가 음수일 때: 그 방향으로 가면 함수의 값이 감소한다.
기울기가 0일 때: 그 지점이 함수의 최소값 또는 최대값일 가능성이 높다.
오차값을 최소화하기 위해서는, 오차 함수에서 기울기가 음수 방향으로 조정하면 오차가 줄어든다. → 경사하강법 (Gradient Descent)
| 함수 | 미분 결과 | 설명 |
| f(x) = c (상수) | 0 | 어떤 입력이 들어와도 그래프는 항상 수평선. x가 바뀌어도 출력값은 바뀌지 않으므로 기울기(변화율) = 0 |
| f(x) = x | 1 | 입력과 출력이 같으므로 x가 1만큼 늘면 y도 1만큼 늘어남 |
| f(x) = x^n | n*x^(n-1) | x의 거듭제곱 형태 미분 규칙: 지수를 앞으로 내리고 지수에서 1을 뺀다. |
| f(x) = ax + b | a | 1차 함수의 기울기는 항상 a로 일정하다. |
| f(x) = e^x | e^x | 자연상수 e를 밑으로 하는 함수를 미분하면 늘 자기 자신 |
| f(x) = ln(x) | 1/x | 지수함수 e^x의 역함수 |
| f(x) = sigmoid(x) | sigmoid(x)(1 - sigmoid(x)) | - |
지수 함수 e^x와 자연 로그 함수는 간결한 미분 성질 덕분에 경사 하강법에서 이점을 제공한다.
로그는 지수의 역함수
2의 3제곱은 8이다. 이때 2는 밑, 3은 지수
로그는 2를 "몇 번 제곱해야" 8이 될까? 를 묻는 것.
밑이 2인 8의 로그는 3이다.
자연로그: 밑이 자연상수 e인 로그
를 미분하면 자기 자신, ln x를 미분하면 1/x