[Machine Learning] Decision tree : 의사 결정 나무

• 스무고개 하듯이 예/ 아니오 질문을 반복하며 학습.
• 특정 기준(질문, 문제 데이터(특성)에 따라 데이터를 구분하는 모델
• 분류와 회귀에 모두 사용 가능.
• root node -> decision node -> leaf node
• (제일 최상위 질문, 뿌리 노드 ) -> ( 중간 질문, 결정노드 ) -> ( 잎사귀 노드)
• 깊이 = depth ( 깊이가 깊다 = 규칙이 많다 = 과대 적합? )
• Decision boundary (= 결정 경계) : 불순도가 낮을 수록 더 좋은 의사결정나무
• 최적의 의사결정 나무 : 불순도가 낮아지는 방향 (= 동일한 카테고리끼리 있음.)
• 불순도 측정 : 지니계수(Gini index)