TIL 2021-12-05 Kernel Machines

Kernel trick

 

고차원으로 projection하지 않고도 implicit하게 projection 하고 나서 decision boundary를 계산하는 효과를 얻을수 있음

 

RBF Kernel

 

C up, var up

s up, var down

s가 크면 smooth한 boundary, s가 작아지면 local한 값들만 집중해서 support vector의 개수도 늘어나고 decision boundary도 울퉁불퉁해짐 (complexity 커짐)

 

Defining kernel

 

Regression

linear model 사용함

 

One Class Kernel Machine

kernel machine으로 outline detection할 수 있음

density 학습하지 않고 boundary만 학습함

 

Large Margin  Nearest Neighbor

mahalonobis의 M covariance metrix을 학습할떄 margin의 조건을 붙임

 

Kernel Dimensional Reduction

high demension으로 mapping해서 dimensionality Reduction하면 됨

 

 

Graphical Model

변수들 간에 관계를 시각적으로 표현하는것

Inference를 할떄 변수가 많으면 decompose해서 joint distribution해서 inference해줄수 있음.

Node(random vars)와 Arc로 구성됨

directed acylic grapth의 구조를 가짐

parameter는 conditional probablity

 

Head to Tail

y값이 결정되면 z값은 y에만 영향받음

 

Tail to Tail

tail과 tail 사이의 독립성

 

Head to Head

z가 fix 안되면 x,y 독립,

z가 fix되면 x,y dependent해짐

 

Causal inference