4-4. Transfer Learning

본 차시에서도,

데이터 수가 적을 때 그런 부분을 보안해줄수있는 transfer learning에 대해 살펴보겟다

 

transfer learning은 주로 딥러닝에서 사용하는 방법

딥러닝의 특징을 다시한번 리마인드 해보면,

영상데이터를 input으로 사용했을 때, 히든 레이어를 여러번 통과하고 최종적으로 label나온다.

 

이것을 학습할때, 의료데이터가 적은 경우를 가정하면,

(예를 들어 이미지가 100여장 있다고 가정)

이 100여장으로 학습하게 되면, 성능이 제한적인 경우가 많다.

 

초반 레이어에서는 low level 피처들이 학습되고, 점점 갈수록 middle, high level 피처들이 학습된다.

high level 피처들을 바탕으로 최종적으로 classification하게된다.

 

이렇게 학습할 때,

메디컬 이미지 만으로 학습하는 것이 아니로,

일반 이미지(natural 이미지)를 사용 할 수 있다.

 

일반 이미지는 보통 아주 많은 영상을 가지고 있다고 가정한다.

이런 경우 natural 이미지로 label 학습하게 되면, low level 피처부터 high level 피처까지 학습이 될 것이다.

 

여기서의 가정은, 메디컬이미지나, 일반 2D영상이나

로우레벨 피처는 어느정도 비슷할 것이라는 가정이 있다.

 

보통 로우레벨피처에서는 엣지, 텍스처 등의 low level 피처들이 학습이 된다.

이런 엣지, 텍스처 정보들은 메디컬이미지나 일반이미지나 비슷하기 때문에,

natural image로 로우레벨 피처들을 아주 잘 학습했다고 한다면

피처들이 메디컬이미지의 클래시피케이션에 유용한 경우도 많이 있다.

 

그래서 먼저 natural image로 학습을 수행하고,

수행된 레이어들 사이에 존재하는 파라미터들이 존재하는데,

앞부분은 파라미터값을 픽스시켜 변화되지 않도록 한다.

그 이후에 트레이닝 메디컬 이미지를 넣고 다시 학습하게 된다.

 

뒷 레이어의 하이레벨 피처 파라미터들만 업데이트를 한다.

 

메디컬 이미지가 100여장 있다고 가정했는데,

만약 이런 이미지수가 천장, 만장으로 좀더 많으면,

좀더 픽스시키는 라인(레이어)을 왼쪽으로 당길 수 있다.

(예로 첫번째와 두번재 히든레이어만 고정)

 

이것은 가지고있는 데이터에 따라 결정을 하게 된다.

 

 

이처럼 의료영상 분류에 다른 타입의 영상을 이용할 수 있다는 점이 Transfer learning의 장점이다.

특히 학습데이터가 상대적으로 적은 경우에 트렌스퍼 러닝 기법이 분류성능을 높혀줄 수 있다는 것이 종종 보고되고 있다.