✳️ 유런 방학 프로젝트 : 자율주행 차량 시점 영상에서 도로/차선/보행자 Segmentation

예지가 준비한 프로젝트를 하게 됐다.

 

예지가 정리해준 내용!

주제 : 자율주행 차량 시점 영상에서 도로/차선/보행자 Segmentation
: 자율주행 차량의 전방 카메라 영상에서 도로, 차선, 사람 같은 요소들을 픽셀 단위로 분류하는 AI 모델을 구현해보기

1. 주제 선정했던 이유
: 자율주행에서는 주변 환경을 인식하는 게 아무래도 가장 중요한 부분인데, 특히 운전할 때 도로 위 물체들을 정확하게 분류하는 게 안전하게 주행하고, 위험 요소들은 회피하게 하는 판단에 직접적으로 영향을 주게 된다. YOLO처럼 클래스 박스로 감지하는 객체 인식보다 픽셀 단위로 훨씬 더 정밀하게 인식할 수 있는 게 Semantic Segmentation이고, 실제 ADAS(자율주행) 기술에서도 많이 활용되는 기술이다.

2. 활용할 수 있는 모델

우리가 읽어봤던 모델 : UNet, DeepLabV3+
UNet : 단순하고 빠르게 실험 가능한 baseline
DeepLabV3+ : 현실적인 조건들에 적용 가능한 실전 중심

새로운 모델 : SegFormer
- Transformer 기반의 Semantic Segmentation 모델
- 2021년 엔비디아 발표 & 속도, 성능, 파라미터 효율성 모두에서 긍정적
< 주요 특징>
- Hierarchical Transformer Encoder : 입력 이미지를 점점 다운샘플링 -> 다단계 특징 추출
- MLP Decoder : 간단한 MLP 활용하여 파라미터 수 완전 많이 줄임
- Position Embedding X : 고정 위치 정보 의존 X

성능은 mIoU 지표 기반으로 비교 예정

3. 활용 데이터셋

초기 : Cityscapes나 BDD100K 같은 공개 자율주행 영상 데이터 ( 독일 과 같은 외국 데이터 기반 )

외국 데이터 기반으로 한국형의 도로 데이터셋를 찾아서 최종적으로 적용해보기

4. 대략적인 진행 계획

모델 구조 파악 → 기본 모델 구현 → 학습 -> 성능 비교 및 결과 시각화 -> 한국형 데이터셋에 적용 및 모델 구현

어려움..

화이팅

멀모 공부하자

 

YOLO