Structuring Machine Learning Projects - Week2

※ Transfer Learning

- 한 분야의 문제를 해결하기 위해서 얻은 지식과 정보를 다른 문제를 푸는데 사용하는 방식.

- 컴퓨터 비전의 영역에서 전이 학습으로 수행된 모델들이 높은 성능을 보이고 있음.

- ImageNet과 같은 데이터셋으로 이미 학습된 pretrained Model을 사용해서 뒷 부분에 FC를 붙여서 학습시킴.

- 초깃값으로 이미 학습된 model을 사용할 수 있어 학습 속도 면에서 2~3배의 효과를 낼 수 있음.

 

 

※ Multi-task Learning

- transfer Learning에서는 A작업을 배우고 B작업으로 넘어가는 과정에서 순차적인 과정이 필요했으나 Multi-task Learning에서는 일을 동시에 시작하여 신경망이 여러가지 일을 동시에 할 수 있어, 각각의 작업이 서로 도움을 줄 수 있음.

- 많은 data가 필요한 딥러닝에서 data가 부족한 경우 이전 학습 경험을 현재 학습에 접목시켜서 더 빠르게 학습하는 방식을 사용한다. -> transfer Learning과 유사해보일 수 있지만, 연관성 있는 여러가지 task를 동시에 학습시켜서 성능 향상을 추구한다는 점이 차이점이다.

- 장점1 : task A의 학습 정보가 task B, task C에 모두 영향을 줄 수 있다.

- 장점2 : overfitting 감소 - shared representation 학습

- 단점1 : 장점1의 영향이 부정적인 영향을 줄 경우

- 단점2 : task 간 balance가 맞지 않을 경우

 

 

※ End to End Deep Learning

- 파이프라인 네트워크를 구축하지 않고 한 번에 신경망으로 처리하는 기법

- 잘 작동하기 위해 굉장히 많은 양의 데이터가 필요함 -> 데이터가 어느 숫자 이상이 될 경우 갑자기 잘 작동하기 시작함

 

Ex)

1. Machine translation

English -> text -> ... -> Finish

English -----------------> Finish

2. Estimating child's age

Image -> bones -> age

Image --------------> age

 

- Pros:

1. Let the data speak

2. Less hand-designing of components needed

- Cons:

1. May need large amount of data

2. Excludes pontentially useful hand-designed components