[Machine learning] 앙상블

Ensemble 

 : 여러개의 모델이 예측한 값을 결합하여 정확한 최종 예측을 도출하는 기법

- 단일 모델에 비해  높은 성능과 신뢰성을 얻을 수 있음.

- 데이터의 양이 적은 것에 대비 충분한 학습 효과를 거둘 수 있음.

 

< 유형에 따른 분류 >

- 보팅 (voting)

: 여러개의 다른 종류의 모델이 예측한 결과를 투표 혹은 평균을 통해 최종 결정하는 방식
하드보팅 : 다수결

소프트보팅 : 각 확률의 평균

- 배깅 (Bagging)

 

: 여러개의 같은 종류의 모델이 예측한 결과를 투표 혹은 평균을 통해 최종 결정하는 방식

ex) 랜덤 포레스트

: 여러개의 결정 트리 모델로 예측한 값을 소프트 보팅을 통해 최종 선택하는 배깅의 대표적 모델

( ==> 서로 다른 방향(알고리즘)으로 과대적합된 트리를 많이 만들고 평균을 내어 일반화 시키는 모델 )

분류와 회귀 모두 가

< 보팅 과 배깅 >

공통점	여러 개의 모델이 투표 또는 평균을 통해 최종 예측 결과를 결정
다른점	<보팅>      --> 서로 다른 모델을 결합 <배깅>     --> 같은 종류의 모델을 결합     ( 데이터 샘플링을 다르게, 중첩 허용)

- 부스팅 (Boosting)

: 여러개의 같은 종류의 모델이 순차적으로 학습-예측하며 가중치를 부여해 오류를 개선하는 방식