#11 of AI and Deep Learning - 인공신경망에서 Dropout 개념이 필요한 이유

Dropout

개요

• 정의
• Layer 의 노드들(=weight) 중 일부 노드들을 랜덤 제거한 뒤 학습하는 방식
• 정확히는 특정 뉴런을 0으로 만드는 것
• 목적
• 학습 성능을 최적화하기 위해 by 균형 확보

적용 이유

• 종종 어떠한 하나의 결과를 예측하는데 있어 필요 이상으로 많은 정보가 수반됨
• 예시
• 특정 이미지를 보고 고양이임을 판별한다고 할때
• 고양이의 특징적인 몇몇 부위 정보만을 활용해서 충분히 식별 가능
• dropout 을 하지 않으면 오히려 필요이상의 정보를 활용하게 됨
• Generalization 을 방해하는 Overfitting 의 원인
• Overfitting 을 해결하는 방법

드롭 아웃 도식화

앙상블 효과

• dropout 과 비슷한 개념으로, training dataset 을 다수 파트로 나누어 학습
• 학습 후, 각 결과를 통합하여 최적의 예측 결과 도출 = 균형 잡힌 결과

References

• 인프런 김성훈 교수님 머신러닝 기초 강의
• 개인 블로그
• https://pythonkim.tistory.com/42