본문 바로가기
  • 컴공생의 공부 일기
  • 공부보단 일기에 가까운 것 같은
  • 블로그

Club424

🦜카부캠 앵무말(Parrotalk) : 성능 검사 파이프라인 ing 성능이 개선되는 것을 보여줄 지표!안되면 어떡하지,,) 🦜성능 검사 파이프라인 만들기1) myModelPrompt 요청용 프롬프트 짜기2) validation dataset을 이용해서 bert 베이스 모델에 요청 보내고 요청,답변 저장하기3) LLMEvaluationPrompt 검증용 프롬프트 짜기4) LLM에게 요청,답변 저장한 내용을 이용해 성능 검사 : 요청,검증 내용 저장하기5) 통계 내기 + 파인튜닝 이후 같은 일 반복 / 비교하기🦜요청용 프롬프트 짜기🦜베이스 모델에 요청, 답변 저장🦜검증용 프롬프트 짜기def make_LLM_evaluation_prompt(context, question, answer) : LLM_evaluation_prompt = f""" 전화 응답 적합.. 2024. 11. 4.
🍳카부캠 흑백개발자 : AI 설계 / 회고 이것이 취업을 위한 백엔드 개발이다 with 자바 - 예스24백엔드 개발자 취업, 무엇을 어떻게 준비할까?생생한 과제테스트 경험을 바탕으로 백엔드 개발자 취업의 모든 것을 배운다!백엔드 개발자를 꿈꾸는 분이라면 이런 이야기를 많이 들어 봤을 것m.yes24.com와 그레이 멘토님이 일이 있으셔서 다음번에는 이 분이 멘토님으로 온대🍳AI 설계제이언니랑 말한 거 피그마 정리🍳회고멘토링도 했는데다음부터 좀 준비를 하고 가기로 함.. 첨에는 했는데요즘은 잡담만 많이 하는 것 같기도..카카오에서 쓰는 툴들 구경이 신기했음 2024. 11. 1.
🍳카부캠 흑백개발자 : 스프린트 회고/요구사항 정의서/IA 구조도 🍳 스프린트 회고데일리 스크럼 매일 진행했고스프린트가 끝나서 회고를 진행 keep/problem/try 쓰고 공유, try 투표해서 도입!🍳 요구사항 정의서 / IA 구조도요구사항 정의서 (Requirement Specification)프로젝트가 달성해야 할 목표와 기능을 명확하게 설명한 문서프로젝트의 범위, 기능, 성능 요구사항, 사용자 요구사항 등을 포함프로젝트 개요: 프로젝트의 목적, 목표, 배경 설명.이해관계자 정의: 시스템을 사용하는 주요 사용자 및 이해관계자 명시.기능 요구사항: 시스템이 제공해야 하는 주요 기능들을 명확하게 나열.비기능 요구사항: 성능, 보안, 확장성, 안정성 등의 비기능적 요구사항.시스템 요구사항: 서버 환경, 네트워크 환경, 데이터베이스 구조 등 기술적 요구.UI/UX.. 2024. 10. 27.
🦜카부캠 앵무말(Parrotalk) : 초기 모델/데이터셋 선정 🦜초기 모델 선정DeBERTa v3(Decoding-enhanced BERT with Disentangled Attention) 모델을 기반으로 SQuAD 2.0 데이터셋에서 파인튜닝된 다국어 질문-응답 모델 timpal0l/mdeberta-v3-base-squad2 · Hugging FaceThis model can be used for Extractive QA It has been finetuned for 3 epochs on SQuAD2.0. Usage from transformers import pipeline qa_model = pipeline("question-answering", "timpal0l/mdeberta-v3-base-squad2") question = "Where do I liv.. 2024. 10. 25.
🦜카부캠 앵무말(Parrotalk) : GPT 파인 튜닝 이야 내 블로그 카카오 사내게시판에 올라갓대!gray 멘토님이 말해주심이럴 줄 알았으면 좀 말투 덜 유치하게 쓸걸🦜 GPT 파인 튜닝openAI 파인 튜닝 공식 가이드라인https://platform.openai.com/docs/guides/fine-tuning  데이터 세트 준비50-100개 사이 예제로 먼저 테스트해보기 AI-Hub샘플 데이터 ? ※샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며, 데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되www.aihub.or.kr훈련과 시험 분할 - Train and test splits데이터 서식 확인데이터 세트를 컴파일한 후 미세 조정 작업을 생성하기 전에 데이터 형식을 확인하는 것.. 2024. 10. 24.
🦜카부캠 앵무말(Parrotalk) : 랭체인 프롬프팅 망침깔끔하게! 고민 없이! 복학~~-아니 진짜 일대일 60분 기술면접 진짜냐 젠장 다대다라이트면접일줄알았다🦜 우리 서비스!https://451a-211-244-225-164.ngrok-free.app통화 된다~음질 굿TTS STT 진행 중이시다🦜 GPT api / Langchain가상환경 설정, 패키지 설치pip freeze > requirements.txt 프롬프트recommend_system_message = '''### 지시 ###주어지는 문장은 내 전화 상대방의 문장이다. 맥락에 따른 답변 추천 예시를 3개 생성하라.### 출력 형식 ###json 형식으로 출력하되 아래 형식으로 출력하라.{{ "recommend": [ // 요약한 메시지 3개, 이는 겹치면 안 된다. .. 2024. 10. 22.
🦜카부캠 앵무말(Parrotalk) : 카카오 gray님 멘토링2 멘토님이랑 저녁먹기루 했다..!프로젝트 방향도 잘 잡아주시는데 멘토님이 되게 친절하시고 편하게 해주시려고 해서멘토님 결혼 사진도 보고  내가 모솔이라는 것도 말하고..중학교 연애는 연애로 안 친다는 것도 말해주시고...늦잠자지 말라고도 조언해주시고,,,저녁 네트워킹 때는 인공지능 다른 카카오 멘토님이랑 이야기했는데인턴 면접 안 보러 갈 뻔했다는 이야기 듣고내 자식이면 두들겨서라도 무조건 인턴 기회 오면 잡게 한다는 이야기를 들었다아 씁열심히준비할걸그랬나?정답은없다...공부나해라은체야...공짜피자치킨넘맛잇네..너무많이먹었어,..🦜멘토링 준비🦜멘토링예전에 찍은 거 지금 찾앗네 2024. 10. 18.
🦜카부캠 흑백개발자 : 앵무말(Parrotalk) AI 계획 나는 jay 언니를 믿는다데이터 준비 및 전처리목표: AI 모델 학습을 위한 텍스트 데이터셋을 수집하고 전처리 과정을 거쳐 데이터의 품질을 높임.대화형 데이터, FAQ, 문서 데이터 등을 수집사용하기 적합한 형태로 변환Hugging Face, Kaggle 등에서 적절한 데이터셋 수집.데이터 전처리 파이프라인 설계 (텍스트 정규화, 토큰화, 라벨링 작업 등).전처리된 데이터를 검토하고 학습에 적합한지 검증.AI 모델 학습 및 파인튜닝목표: 사전 학습된 모델(BERT, DistilBERT 등)을 기반으로 파인튜닝을 통해 대화형 AI 모델 구축.AI 모델이 주어진 태스크(대화 맥락 이해, 답변 예시 추천 등)에 맞게 최적화되도록 학습.Hugging Face Transformers 라이브러리를 활용하여 모델 불.. 2024. 10. 15.
🦜카부캠 흑백개발자 : 앵무말(Parrotalk) 기획 🌿기획회의- 문제 선정/정의- 문제 근거와 이해 관계자 분석- 기존 서비스, 우리의 차별점 분석- 기대효과- 페르소나 도출- MVP 뽑기- BM- 유즈 케이스 다이어그램 뽑기- IA 뽑기- UI/UX 뽑기- 기술 아키텍처 뽑기- ERD 뽑기- 기능 명세서 뽑기- API 명세서 뽑기- 팀별 개발 계획 세우고 공유하기 (기술 세부 정하기)- 개발 일정 정하기ㅎㅎ 졸프할 때 잘 써먹어야지🌿PPT예상대로...디자인은 나야나나야나 2024. 10. 1.
🍍카부캠 18조 기획/AI계획 카카오 멘토링을 받았따넘조앗따멘토님이 밥도 사주신다고 했띠🍍멘토링 내용 정리# 멘토님 피드백### 프로젝트 평가와 방향성:1. **프로젝트 목적**: - 프로젝트를 **취업을 위한 도구**로 삼을 것인지, 아니면 **사업성**을 가지고 추진할 것인지에 대해 명확한 고민이 필요함. - 단순히 "남들이 쓰니까" 특정 기술을 사용하는 것과 **학습을 목적으로** 오버스펙 기술을 사용하는 것은 큰 차이가 있음.2. **애자일 방식으로 개발**: - 배포 계획을 길게 잡지 않고, 작은 기능 단위로 완성해 나가며 **짧은 주기의 반복적인 배포**를 통해 프로젝트를 점진적으로 완성해 나감. - 최종 완성 목표는 12월이지만, 그 전에 단계별로 기능을 완성하는 방식으로 진행.---### 콜 포비.. 2024. 9. 27.

티스토리툴바