🔬LLM 지도 : 딥러닝과 언어 모델링

으아앜ㅋㅋㅋㅋ훈훈하다~~~

---

LLM을 활용한 실전 AI 애플리케이션 개발 / 허정준

받은 책

요즘 핫하다던데

완주!!!!!!

해보자

---

🔬딥러닝과 언어 모델링

LLM이란?

딥러닝 기반의 언어 모델

 

- 딥러닝 : 데이터의 패턴을 학습하는 "머신러닝" 중에서도 인간의 두뇌와 닮은 신경망 (특징 추출까지 모델이 대신 처리)

- 언어 모델 : 다음에 올 단어를 예측하는 모델 (자연어 처리/자연어 생성/LLM)

---

임베딩

데이터의 의미와 특징을 숫자로 변환한 것

 

거리를 계산할 수 있는 특징

- 클러스터링/분류 가능

- 이상치 탐지 가능

- 추천/검색 가능

 

 

단어 한 개 : 수십에서 수만 개의 숫자로 변환됨

---

언어 모델링

입력받은 텍스트의 다음 단어를 예측해 텍스트를 생성하는 방식 

(언어 모델 : 입력받은 텍스트의 다음 단어를 예측해 텍스트를 생성하는 모델)

 

전이 학습

: 문제를 해결하는 과정에서 얻은 지식을 다른 문제를 풀 때 사용

 

사전 학습

: 대량의 데이터로 모델 학습

 

미세 조정

: 특정 문제를 해결하기 위해 추가 학습

 

 

다운스트림 과제 

사전 학습 모델을 사전 학습만 시켜서 사용

+ 데이터의 크기가 작을 때 유용

+ 헤드만 추가 학습

 

이 미세 조정 방식을 이미지 처리 모델에서처럼 자연어 처리 모델에도 사용하고 싶었으나 

마땅한 사전 학습 방식을 찾지 못하고 있었음

=> "다음 단어를 예측하는 언어 모델링 방식" 고안

 

+ 트랜스포머 모델에서도 언어 모델링으로 사전 학습을 진행했을 때가 성능이 높음

---

포폴개발하고싶다..

튀튓