머신러닝 개요, 지도학습: 선형 및 로지스틱 회귀분석

선형회귀

선형 회귀 분석은 모형이 선형이라고 가정하면 엄청난 양의 데이터가 필요하지 않기 때문에 매우 인기 있는 도구입니다
ML에서는 상수 항을 바이어스, 계수를 가중치라고 합니다.

• 선형회귀는 매개변수를 변경하여 함수를 최소화하는 것이 목적입니다. 단계는 다음과 같습니다:
• 모수에 대한 시작 값 선택
• 가장 가파른 기울기, 즉 목적 함수를 최대로 줄이기 위해 매개 변수를 변경해야 하는 방향을 찾습니다
• 가장 가파른 비탈길 방향으로 계곡을 따라 한 걸음씩 내려갑니다
• 2단계와 3단계를 반복합니다
• 계곡 바닥에 도달할 때까지 계속합니다

320x100

로지스틱 회귀

로지스틱 회귀는 선형회귀분석의 출력을 범주형으로 제한한 회귀분석으로서 분류 문제에 적용한다.

• 이진 분류 문제에 대해 입력 x가 주어졌을 때, 클래스 레이블이 1이 될 조건부 확률은 로지스틱 함수의 출력값이 되며, 이를 파라미터 m과 b를 가지는 선형함수를 활용하여 정의 한다. 이때 -0.5를 기준으로 클래스 레이블을 결정한다.
• 오즈비: 입력 x가 클래스 C1에 속할 확률과 c2에 속할 확률의 비율
• 로짓함수: 오즈비에 대해 로그를 취한 함수
• 매개변수 m, b 추정:  새로운 형태의 목적함수가 필요

  - 베르누이 분포를 따르는 P(y!x)의 확률함수를 이용하여 관찰된 데이터 집합에 대한 로그우도 함수 l(m,b)로 함
  - 로그 우도를 최대화 하는 최대 우도 추정법을 통해 파라미터를 추정함
 - 간단히 해석적으로 얻는 것으로 불가능하므로 수치적 최적화 기법을 적용하여 반복적 추정을 통해 해를 찾아감