[혼공학습단6기 4주차] 5장 기본미션:교차 검증을 그림으로 설명하기, 선택미션:ch.05-3 양상블 모델 손코딩 코랩 화면 인증샷

 

#혼공단 #혼공챌린지 #혼공머신

[혼공학습단6기 4주차] 5장 기본미션:교차 검증을 그림으로 설명하기, 선택미션:ch.05-3 양상블 모델 손코딩 코랩 화면 인증샷

 

1.기본미션

 교차 검증 : 훈련 세트를 여러 폴드로 나눈 다음 한 폴드가 검증 세트의 역할을 하고 나머지 풀드에서는 모델을 훈련합니다. 교차 검증은 이런 식으로 모든 폴드에 대해 검증 점수를 얻어 평균하는 방법 입니다.

3-폴드 교차 검증

 

2.선택문제

앙상블 학습 : 더 좋은 예측 결과를 만들기 위해 여러 개의 모델을 훈련하는 머신러닝 알고리즘을 말합니다.

 

랜덤포레스트 : 대표적인 결정 트리 기반의 앙상블 학습 방법입니다. 부트스트랩 샘플을 사용하고 랜덤하게 일부 특성을 선택하여 트리를 만드는 것이 특징입니다.

 

엑스트라 트리 : 랜덤 포레스트와 비슷하게 결정 트리를 사용하여 앙상블 모델을 만들지만 부스트랩 샘플을 사용하지 않습니다. 대신 랜덤하게 노드를 분리해 과대적합을 감소시킵니다.

 

그레이디언트 부스팅 : 랜덤 포레스트나 엑스트라 트리와 달리 결정 트리를 연속적으로 추가하여 손실 함수를 최소화하는 앙상블 방법입니다. 이런 이유로 훈련 속도가 조금 느리지만 더 좋은 성능을 기대할 수 있습니다. 

 

그레이디언트 부스팅의 속도를 개선한 것이 히스토그램 기반 그레이디언트 부스팅이며 안정적인 결과와 높은 성능으로 매우 인기가 높습니다.