🔬LLM 지도 : LLM 애플리케이션의 시대

777!!!

---

LLM을 활용한 실전 AI 애플리케이션 개발 / 허정준

---

🔬LLM 애플리케이션의 시대가 열리다

sLLM(small LLM), 효율적인 학습과 추론, RAG(retrieval augmented generation 검색 증강 생성)

---

지식 사용법을 획기적으로 바꾼 LLM

기존 

언어 이해 모델 + 언어 생성 모델

합쳐서 사용

 

=> 언어 이해와 언어 생성이 모두 가능한 다재다능한 LLM

---

sLLM

"gpt4나 재미나이 같은 상업용 api 사용하기"

대신 원하는 데이터로 추가학습시켜서 쓸 수 있는 sLLM

 

- 메타의 라마3

- 구글의 젬마-2

- 마이크로소프트의 phi-3

---

효율적인 학습과 추론

트랜스포머 아키텍처 연산/ 학습과 추론에 필요한 연산 => 매우매우 높음

- 양자화 (모델 파라미터를 더 적은 값으로 표현)

- LoRA (모델의 일부만 학습하는)

---

RAG

환각 현상 (할루시네이션)

완화를 위한 검색 증강 생성 RAG

---

LLM의 미래

멀티 모달

- 다양한 형식의 입출력

 

에이전트

- 텍스트 생성 모델을 활용해 계획/의사결정/행동수행  (스스로 생각해서 수행)

+ 멀티 에이전트

 

긴 입력을 효율적으로 받는 연구

- 트랜스포머 아키텍처를 넘어서

---

이제 트랜스포머 아키텍처를 공부한다

---

끙,,,이틀내내 아이디어 회의하는데 마땅한 아이디어가 나오지 않는다....ㅠㅠ

한 3번 최종까지 가다가 갈아엎은 듯

계속되는회의

와 과자

소피아언니가사줫따