🦜카부캠 브이로그
🦜PPT
열심히 만들만들
🦜시연 영상
영상 편집을 했다
🦜인공지능 스크립트
<AI 진행 상황>
다음 흐름도는 인공지능 측에 요청,즉 전화 상대의 말이 들어왔을 때의 진행 로직을 가시적으로 보여줍니다.
크게 두 단계로 나누어 볼 수 있습니다.
앞쪽 부분은 들어온 말이 "추천할 만한 문장"인지 판별하고, 추천할 만한 말이 될 때까지 문장을 저장합니다.
뒤쪽 부분은 이전 대화 문맥을 고려하여 추천 문장을 생성하고 반환하며, 문맥을 업데이트합니다.
현재 전체 알고리즘 구조 설계가 완료되었으며, 랭체인 프롬프팅을 이용하여 fast api로 배포된 상태입니다.
이후 redis 데이터베이스로 자료구조 업데이트, 직접 튜닝한 모델로의 서빙 진행 등의 고도화와 최적화를 진행할 예정입니다.
<AI 어려웠던 점>
초기에는 DeBERTa v3/ko-BART 모델 사용을 시도하였으나, 전화 상황에 적합한 출력이 나오지 않는 것을 확인하였습니다. 따라서 파인튜닝을 진행하기로 결정하였고, 용도별 목적 대화 데이터셋을 SQuAD 2.0 형태로 정제하였습니다. 현재 cuda를 통해 GPU로 학습을 효과적으로 진행할 예정에 있으며, LLM 성능 검증 파이프라인 코드를 짜서 성능 검증을 진행할 예정입니다.
'✨ Club|Project > 카카오테크 부트캠프 | AI' 카테고리의 다른 글
🌀React Native : 날씨 앱 만들기 (3) | 2024.11.07 |
---|---|
🦜카부캠 앵무말(Parrotalk) : 성능 검사 파이프라인 ing (2) | 2024.11.04 |
🍳카부캠 흑백개발자 : AI 설계 / 회고 (0) | 2024.11.01 |
🍳카부캠 흑백개발자 : 스프린트 회고/요구사항 정의서/IA 구조도 (0) | 2024.10.27 |
🦜카부캠 앵무말(Parrotalk) : 초기 모델/데이터셋 선정 (0) | 2024.10.25 |