ML memo - Bayesian

Bayesian Model

Naive Bayesian Model

P(A | E) = P(E | A) * P(A) / P(E) 인 것을 이용함

A 가 label 이고 E 가 F1, F2 ... Fn 으로 이루어진 features 이면

P(F_i & F_i+1 | A) = P(F_i | A) * P(F_i+1 | A) 이라는 가정하에서 

P(A | E) = P(F1 | A) * P(F2 | A) ... * P(Fn | A) * P(A) / P(E) 가 성립함.

위의 가정이 성립하기 때문에 Naive 라는 이름이 붙는 것.

Missing Value 등 특이사항의 경우 P(F_i|A) 를 1로 하며

0 이 있으면 계산이 무용해지므로 분모분자에 alpha=1 를 넣어서 보통 막음.

Gaussian Naive Bayesian

Numeric Value 의 경우 P(F_i | A) 의 경우 A 에 한해서 F_i 의 mean 과 std 를 구해서

$f\left(x\right)=\frac{1}{\o \sqrt{2\pi }}\combi{e}^{-\frac{\left(x-u\right)^2}{2\o }}$f(x)=1ơ√2π​e−(x−u)22ơ​​

위 식, 즉 정규분포를 가정해서 구함.