#4 of AI and Deep Learning - 딥러닝 강의 정리 by 남세동_모두의 연구소

내용 정리

영상 출처

• https://www.youtube.com/watch?v=YjfryJhb9Zg

영상 Summary 및 하이퍼 파라미터 개념

• Activation Function
• Sigmoid
• 출력값이 0 - 1 사이의 값을 가지는 함수
• 문제점
• Vanishing Gradient 이슈 발생
• 역전파 과정에서 W (가중치) 값이 0에 수렴하는 현상
• 역전파 과정이 반복되면 1보다 작은 값들이 계속해서 곱해지는 것
• ReLU (Rectified Linear Unit)
• 입력값 <= 0 
• 출력값 = 0
• 입력값 > 0
• 출력값 = 입력값
• 문제점
• Dying ReLU 이슈 발생
• Gradient = 0 이 되는 구간 발생할 수 있음 (실제로 발생율 낮음)
• 자주 발생하지 않는 원인은 규명 중
• Numbers of Layer
• 주로 2 의 n제곱
• Gradient Descent 방법에서 발생 가능한 문제
• Local Minima
• 참고자료
• https://darkpgmr.tistory.com/148
• Gloabal Minima
• 은닉층 (=Hidden Layer)
• 일반적으로 수가 많을수록 Loss 줄어듦 (=효율 좋음)
• Loss 분포가 협소해짐
• Batch Size
• 주로 2 의 n제곱
• 통상적으로 수치가 높을수록 좋음
• 하지만, 특정 수치 이후로는 급격한 변화 없음
• Epoch
• 특정 시점까지는 Overfitting 율이 증가함
• 그 이후로는 다시 감소함
• CNN
• 정식 학습 전 망가진 이미지 -> 복원 가능
• Inpainting
• Denoising
• Super-Resolution