[SckitLearn]앙상블 학습의 개념과 사용법(3)_부스팅

배깅과 페이스팅, 그리고 결정 트리를 활용한 랜덤 포레스트 알고리즘이 무엇인지, 또 사이킷런에서는 어떻게 사용하는지 배웠었다.

이번에는 앙상블 학습의 부스팅이라는 개념에 대해 알아보도록하자.

---

부스팅?

부스팅의 기본적인 개념은 낮은 성능의 여러 예측기들을 연결해 높은 성능의 예측기를 만드는 것이다.

부스팅은 이전의 약한 예측기를 보완해 나가면서 학습시키는 것이다.

종류로는 에이다부스트와 그레디언트부스팅이 있다.

 

에이다부스트

이전의 예측기를 보완하는 방법으로는 이전의 예측기가 가중치를 낮게 잡았던 샘플의 가중치를 높이는 방법이 있다.

이를 에이다부스트라고 한다.

 

그레디언트 부스팅

그레디언트 부스팅은 에이다 부스트처럼 샘플의 가중치를 수정하는 것이 아니라 이전의 예측기가 만든 잔여 오차에 새로운 학습기를 학습시킴으로써 모델을 점점 보완해 나간다.