슬기로운 혀니의 코딩 생활 슬기로운 혀니의 코딩 생활

1. Orthogonalization - Fit training set well on cost function : Adam과 같은 최적화 - Fit dev set well on cost function : 정규화, training set을 크게 만들기 - Fit test set well on cost function : dev set을 크게 만들기 - Performs well in real world : 현실적인 알고리즘에 적용 X -> 개발 세트나 비용함수를 바꿔야 한다. 2. Single Number Evaluation Metric - 단일 실수 평가 지표를 사용하는 것이 유용하다 - 분류기 선택 시에는 Precision과 Recall 두 가지를 모두 가지고 평가하기 보다는 두 가지 성능 지표를 합쳐..

※ Mini-batch Gradient Descent - 1000개의 mini-batch를 통해서 1 epoch을 실시한 상황. - 여러개의 epoch을 실시하고 싶다면 for loop 하나를 추가해야함. ※ Understanding Mini-batch Gradient Descent - batch에서는 cost function이 하강함, mini-batch 에서는 반드시 cost function이 하강하지 않을 수도 있다. - 장점 1 : 미니배치 크기가 1000개의 예시일 때, 1000개의 예시로 벡터화가 가능할 것이다. 이 경우 예시를 하나씩 처리하는 것보 훨씬 빠르다. - 장점 2 : 전체 훈련 세트를 처리할 때 기다릴 필요없이 진전이 있도록 할 수 있다. - mini-batch를 사용하면 연속 하..

1. Train / Dev / Test sets - ML에서는 70:30으로 분할하는 것이 일반적이었음. - 빅데이터 : 테스트 셋의 크기가 점점 작은 비율로 줄어들고 있음.(테스트 셋이 10% ~ 20%정도의 비율일 경우도 흔함.) - Training set : Cat pictures from webpages. - Dev/test sets : Cat pictures from users using your app. - Make sure dev and test come from same distribution. 2. Bias / Variance - high bias : underfitting - high variance : overfitting - Train set error : 1%, Dev set er..

1. Deep L-Layer Neural Network - 숨겨진 층의 수를 다양한 값을 시도할 수 있는 하이퍼파라미터로 표시하고 유효성 검증 데이터 또는 개발 세트에서 평가하는 것이 합리적이다. - 4 Layer N(3 hidden Layer) 2. Forward Propagation in a Deep Network - 명시적인 for loop를 사용하는 것이 좋다. 3. Getting your Matrix Dimensions Right - Vectorization 한 상태와 아닌 일반적인 상태 각각의 차원을 위와 같이 표현할 수 있다. 4. Why Deep Representations? - 복잡한 부분을 탐지하기 위해 단순한 가장자리들을 탐지하는 것이 중요하다. 깊이를 늘리면서 점점 복잡한 것들까지 ..

2. Nerual Network Representation Input layer - Hidden layer - Output layer 각각 a[0], a[1], a[2]로 표현되는데 a노드 속에 w와 b가 포함되어 있다. 3. Computing a Neural Network's Output z = w.T*x + b yhat = a = sigmoid(z) 이 식을 기본으로 각 노드의 값을 지정할 수 있다. 4. Vectorizing Across Multiple Examples A[1]의 수평 조사 : 훈련 예제 전체를 인덱싱 한다. 훈련 셀 스캔 -> 수평 스캔 시 첫 번째 부터 숨겨진 단위부터 움직임. 숨겨진 단위의 활성화까지 조사. A[1]의 수직 조사 : 다른 신경망의 노드 -> 수직 스캔 시 숨겨진..

1. Binary Classification 64*64 이미지에서 cat이 맞다면 1, 아니라면 0을 y의 값으로 가지는 이진 분류법 RGB 총 3개의 이미지로 나타내므로 64*64*3의 값을 가져서 nx = 12288의 값을 가지게 됨. - x는 x 차원을 가진 특징 벡터. y는 0 or 1의 값을 가지는 레이블, 훈련 셋은 m training example임. - 각각 X와 Y의 shape을 위와 같이 정의할 수 있음. 2. Logitstic Regression - y(hat) 은 y의 추정치. x가 input 사진이라면 y(hat)이 1과 같을 확률이 되기를 원함. - 로지스틱 회귀에서는 y(hat) = w_T * x + b가 되기를 기대하기 어렵기 때문에 sigmoid function을 사용하여 ..

1747번: 소수&팰린드롬 (acmicpc.net) 1747번: 소수&팰린드롬 어떤 수와 그 수의 숫자 순서를 뒤집은 수가 일치하는 수를 팰린드롬이라 부른다. 예를 들어 79,197과 324,423 등이 팰린드롬 수이다. 어떤 수 N (1 ≤ N ≤ 1,000,000)이 주어졌을 때, N보다 크거나 같고, www.acmicpc.net 문제 어떤 수와 그 수의 숫자 순서를 뒤집은 수가 일치하는 수를 팰린드롬이라 부른다. 예를 들어 79,197과 324,423 등이 팰린드롬 수이다. 어떤 수 N (1 ≤ N ≤ 1,000,000)이 주어졌을 때, N보다 크거나 같고, 소수이면서 팰린드롬인 수 중에서, 가장 작은 수를 구하는 프로그램을 작성하시오. 입력 첫째 줄에 N이 주어진다. 출력 첫째 줄에 조건을 만족하..

20300번: 서강근육맨 (acmicpc.net) 20300번: 서강근육맨 PT 첫째 날에 $1$과 $4$를 선택하고, 둘째 날에 $2$와 $3$을 선택하고, 마지막 날에 $5$를 선택하면 $M$은 $5$가 되며, 이때가 $M$이 최소일 때이다. www.acmicpc.net 문제 로니 콜먼 동영상을 보고 보디빌더가 되기로 결심한 향빈이는 PT 상담을 받으러 서강헬스클럽에 갔다. 향빈이가 서강헬스클럽을 선택한 이유는 PT를 받을 때 사용하는 운동기구를 회원이 선택할 수 있다는 점 때문이다. 하지만, 서강헬스클럽은 항상 사람이 많아서 PT를 한 번 받을 때 운동기구를 최대 두 개까지만 선택할 수 있다. 헬스장에 있는 �$N$개의 운동기구를 한 번씩 사용해보고 싶은 향빈이는 PT를 받을 때마다 이전에 사용하지..