🧠 ResNet 잔차 신경망

딥러닝 파이토치 교과서 - 서지영

---

🧠 ResNet

 

깊어진 신경망을 효과적으로 학습하기 위한 방법!

 

깊은 신경망 문제점

신경망 깊이가 깊어질수록 딥러닝 성능은?

=> 좋아지다가 일정한 단계에서 나빠짐

"네트워크 깊이가 깊다고 해서 무조건 성능이 좋아지는 것은 아님"

딥러닝 파이토치 교과서 - 서지영

 

---

residual block 레지듀얼 블록

기울기가 잘 전파될 수 있는 일종의 shortcut

딥러닝 파이토치 교과서 - 서지영

( resnet의 층이 많아서 기울기 소멸 문제가 발생할 수 있기 때문에 만든 방지책 )

 

---

block 블록 

계층의 묶음 

= 합성곱층을 하나의 블록으로 묶은 것

색깔별로 하나의 레지듀얼 블록

레지듀얼 블록 여러 개 => resnet

 

---

 

1️⃣ 계층(Layer)

신경망을 구성하는 기본 단위

2️⃣ 신경망(Neural Network)

여러 개의 계층(Layers)이 연결되어 만들어진 전체 모델

---

 

계층을 계속 쌓아 올리면 파라미터 수가 문제가 됨

이러한 문제 해결을 위해

bottleneck block 병목 블록

앞뒤로 1*1 합성곱층을 붙여 놓음

 

1*1 합성곱층의 채널 수를 조절하며 차원 수를 늘렸다 줄였다 할 수 있음

---

identity mapping 아이덴티티 매핑 ( = shortcut = skip connection )

+ 기호 부분

 

입력 x가 어떤 함수를 통과하더라도 다시 x라는 값으로 출력되도록 함

---

 

아이덴티티 매핑을 하기 위해 형태를 맞춰야 하므로 진행하는 

다운샘플 downsample 

(풀링과 같은 역할)

---

 

resnet 

= 

VGG 구조 + 합성곱들을 추가해서 깊게 만들기 + 숏컷들 추가

---

코드 보기!

ㅠㅠ 발표 자료 만들기 이슈로 일단 여기까지..