Gradient boosting machine

Emsemble 기법들

앙상블 방법 중 부스팅에 속하는 알고리즘

 

Ada Boosting

1. 첫 train set의 일부를 가지고 model 1을 학습을 하고, 학습된 모델을 train set 전체로 test한다.

2. 다시 train set 일부를 가지고 다른 model 2 학습을 하되, 여기에 test 해서 틀린 데이터들이 더 잘 포함되도록 가중치를 크게 준다.

3.  model 1과 2를 앙상블 하여 train set 전체에 대해 예측. 이때 틀린 데이터들이 다음에 train에 포함될 확률 (가중치)를 높여줌

 

1-3 과정을 반복 

 

weak classifiers

tree1에서 GT와의 error, tree2에서 tree1의 error, tree 3에서 tree 2의 error 

각각을 줄이는 classifier를 weak classifier라 하고

wc들을 결합한 것이 strong classifier 

 

GBM pseudo code

줄여야 할 loss func L을 최소화 하는 파라미터 gamma를 찾아야 함

 

실제 residual (error)을 편미분 한 pseudo-residual에

learning rate (h(x)) 만큼 곱해서 더해가며

gradient descent 시행