Google ML Bootcamp/Improving Deep Neural Network
-
Optimization AlgorithmsGoogle ML Bootcamp/Improving Deep Neural Network 2023. 9. 12. 16:17
※ Mini-batch Gradient Descent - 1000개의 mini-batch를 통해서 1 epoch을 실시한 상황. - 여러개의 epoch을 실시하고 싶다면 for loop 하나를 추가해야함. ※ Understanding Mini-batch Gradient Descent - batch에서는 cost function이 하강함, mini-batch 에서는 반드시 cost function이 하강하지 않을 수도 있다. - 장점 1 : 미니배치 크기가 1000개의 예시일 때, 1000개의 예시로 벡터화가 가능할 것이다. 이 경우 예시를 하나씩 처리하는 것보 훨씬 빠르다. - 장점 2 : 전체 훈련 세트를 처리할 때 기다릴 필요없이 진전이 있도록 할 수 있다. - mini-batch를 사용하면 연속 하..
-
Regularization & OptimizationGoogle ML Bootcamp/Improving Deep Neural Network 2023. 9. 10. 20:45
1. Train / Dev / Test sets - ML에서는 70:30으로 분할하는 것이 일반적이었음. - 빅데이터 : 테스트 셋의 크기가 점점 작은 비율로 줄어들고 있음.(테스트 셋이 10% ~ 20%정도의 비율일 경우도 흔함.) - Training set : Cat pictures from webpages. - Dev/test sets : Cat pictures from users using your app. - Make sure dev and test come from same distribution. 2. Bias / Variance - high bias : underfitting - high variance : overfitting - Train set error : 1%, Dev set er..