U-Net: 생물의학 영상 분할을 위한 합성곱 신경망
초록(Abstract)
딥러닝 모델의 성공적인 학습에는 일반적으로 수천 개의 주석이 달린 학습 샘플이 필요하다는 것이 정설이다. 본 논문에서는 제한된 수의 라벨링된 샘플을 보다 효율적으로 활용하기 위해 강력한 데이터 증강 전략을 활용한 네트워크 구조와 학습 방식을 제안한다.
이 네트워크는 컨텍스트를 포착하기 위한 수축 경로(contracting path)와 정확한 위치 추정을 위한 대칭적 확장 경로(expanding path)로 구성된다. 제안된 네트워크는 소수의 이미지로도 end-to-end 학습이 가능하며, 기존 최상위 성능(슬라이딩 윈도우 기반 CNN)을 능가했다.
또한, 동일한 구조를 사용하여 광학 현미경 이미지(위상차 및 DIC)에 대해 학습했을 때 ISBI 2015 Cell Tracking Challenge에서 크게 우승하였다.
성능 또한 뛰어나며, 512×512 이미지 분할이 1초 이내에 GPU 상에서 처리된다.
코드 및 학습된 모델은 다음에서 제공된다:
http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net
1. 서론
최근 2년간, 깊은 합성곱 신경망(DCNN)은 다양한 시각 인식 과제에서 기존 최고 성능을 능가하였다. 이들은 이미지 분류 작업에 주로 사용되며, 하나의 라벨을 출력하는 구조이다. 그러나 의료 영상 분석과 같은 많은 실제 작업에서는 각 픽셀 단위의 라벨 지정이 필요하다.
문제는 생물의학 데이터에서는 수천 개의 라벨링된 이미지가 존재하지 않는 경우가 많다는 점이다.
이에 따라 Ciresan 등(2012)은 슬라이딩 윈도우 방식의 네트워크로 픽셀 주변 패치를 입력받아 해당 픽셀의 클래스를 예측하는 방식으로 해결을 시도하였다. 이 방식은 좋은 성능을 보였으나, 다음과 같은 단점이 있었다:
- 각 패치마다 모델을 독립적으로 실행해야 하므로 속도가 느림
- 작은 패치는 컨텍스트 정보를 적게 보게 되고, 큰 패치는 위치 정확도가 낮아지는 trade-off
2. U-Net 구조의 제안
본 논문에서는 FCN(Fully Convolutional Network)의 구조를 기반으로 수정 및 확장한 U-Net 구조를 제안한다.
- 수축 경로: 컨텍스트 정보를 추출하는 전형적인 CNN 구조 (convolution → ReLU → max pooling)
- 확장 경로: upsampling을 통해 점차 해상도를 복원하고, 수축 경로에서 잘린 feature map을 skip-connection으로 연결하여 높은 해상도 정보를 함께 사용함
- 이로써 대칭적인 U자 형태 구조를 가지며, 픽셀 수준의 정밀한 분할 가능
또한, U-Net은 완전 연결층을 포함하지 않으며, 이미지에서 완전한 컨텍스트가 보이는 부분만 예측 대상으로 포함한다. 이를 통해 GPU 메모리 한계를 회피하고 큰 이미지를 타일 기반(overlap-tile)으로 분할할 수 있다.
3. 데이터 부족 문제와 대응
의료 데이터는 라벨링된 샘플 수가 적기 때문에, 탄성 변형(elastic deformation)을 포함한 과도한 데이터 증강을 사용하였다.
이러한 변형은 실제 조직에서 자주 발생하는 현실적인 왜곡이며, 모델이 형태 변화에 불변성을 갖도록 학습할 수 있게 해준다.
4. 객체 분할에서의 난제: 접촉된 객체 구분
같은 클래스의 세포가 접촉되어 있을 경우, 이들을 분리하는 것이 어려움.
이를 해결하기 위해 loss 함수에 가중치(weighted loss)를 부여, 세포 간의 배경 영역(분리 경계선)에 높은 손실 가중치를 적용하여 경계 인식이 잘 되도록 유도하였다.
5. 실험 결과 요약
- ISBI 2012 EM 신경망 구조 분할 대회에서 Ciresan et al.의 네트워크를 능가함
- ISBI 2015 Cell Tracking Challenge의 두 가지 2D 광학 현미경 데이터셋에서 큰 차이로 우승
- 높은 정확도, 빠른 처리 속도, 적은 학습 데이터로도 우수한 성능 달성
결론
U-Net은 소량의 주석 이미지로도 정밀한 분할을 수행할 수 있는 효율적인 구조로,
특히 생물의학 영상 분할과 같은 데이터 부족 환경에 적합하며,
단순하면서도 강력한 구조로 다양한 분야에 적용 가능한 범용 모델이다.
