permutation feature importance

트리 기반 머신러닝 모델의 feature importance

특정 feature값에 따라, 예측 값 분포의 엔트로피가 커질수록 커지게 된다

그러나 feature 값 경우의 수가 많을수록 예측값에 줄 수 있는 영향이 커지기 때문에

feature 간 공평한 비교가 되지 못하는 단점이 있음

(ex - feat1은 indicator feature [0,1], feat2는 [0,1,2,3,4] 중 하나의 값을 가진다면 feat1 < feat2 유리)

 

permutation feature importance는 

특정 feature의 값을 이상하게 바꾸었을 때, 원래 값을 주었을 때의 예측값과 비교해서 얼마나 예측 값이 달라지는지에 따라 커짐

이때 feature 간의 연관성이 있다면 feat1 값을 뭉갰을 때 feat2 등 다른 feat들의 중요도도 영향을 받을 수 있음

하지만 여전히 feat 값이 가지는 경우의 수에 따라 importance가 유리하게 측정될 수 있다는 단점이 있음