본문 바로가기
  • 컴공생의 공부 일기
  • 공부보단 일기에 가까운 것 같은
  • 블로그

전체 글1298

🦜카부캠 앵무말(Parrotalk) : 데이터셋 정제 프사바꿨다🦜데이터셋 선정 AI-Hub샘플 데이터 ? ※샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며, 데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되www.aihub.or.kr이거 하려고 했는데 "멀티 세션"은 필요 없다,, AI-Hub샘플 데이터 ? ※샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며, 데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되www.aihub.or.krㅇㅋ, ㅜㅜ, >음성 대화 서비스와는 달라 보임 AI-Hub샘플 데이터 ? ※샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으.. 2024. 10. 29.
🔘 백준 - 7869 두 원 사람들 인스타에..ICPC 예선이 올라오기 시작했다..1학년 때는 뭔지도 모르고 참가하고 2학년 때는 예선 주최만 했지 참가는 안 하고 3학년은 휴학?ㅠ..icpc 본선 나도 가보고 싶다# 7869두 원🥇골2 기하가 좀 재밋어서 기하 잡게 되네..수험생 수학문제 풀던 시절이 생각남아니,,,아크사인이라는 갓함수가 있었으면...말했어야지,,,,,,반각공식 증명이나 했는데 그냥 아크 씌우고 곱하기 2하면 되는 거 아냐 2024. 10. 29.
🍳카부캠 흑백개발자 : 스프린트 회고/요구사항 정의서/IA 구조도 🍳 스프린트 회고데일리 스크럼 매일 진행했고스프린트가 끝나서 회고를 진행 keep/problem/try 쓰고 공유, try 투표해서 도입!🍳 요구사항 정의서 / IA 구조도요구사항 정의서 (Requirement Specification)프로젝트가 달성해야 할 목표와 기능을 명확하게 설명한 문서프로젝트의 범위, 기능, 성능 요구사항, 사용자 요구사항 등을 포함프로젝트 개요: 프로젝트의 목적, 목표, 배경 설명.이해관계자 정의: 시스템을 사용하는 주요 사용자 및 이해관계자 명시.기능 요구사항: 시스템이 제공해야 하는 주요 기능들을 명확하게 나열.비기능 요구사항: 성능, 보안, 확장성, 안정성 등의 비기능적 요구사항.시스템 요구사항: 서버 환경, 네트워크 환경, 데이터베이스 구조 등 기술적 요구.UI/UX.. 2024. 10. 27.
🦜카부캠 앵무말(Parrotalk) : 초기 모델/데이터셋 선정 🦜초기 모델 선정DeBERTa v3(Decoding-enhanced BERT with Disentangled Attention) 모델을 기반으로 SQuAD 2.0 데이터셋에서 파인튜닝된 다국어 질문-응답 모델 timpal0l/mdeberta-v3-base-squad2 · Hugging FaceThis model can be used for Extractive QA It has been finetuned for 3 epochs on SQuAD2.0. Usage from transformers import pipeline qa_model = pipeline("question-answering", "timpal0l/mdeberta-v3-base-squad2") question = "Where do I liv.. 2024. 10. 25.
😄 Hugging Face 탐색 멘토링의 나날😄 Hugging Facehttps://huggingface.co Hugging Face – The AI community building the future.The Home of Machine Learning Create, discover and collaborate on ML better. We provide paid Compute and Enterprise solutions. We are building the foundation of ML tooling with the community.huggingface.co트랜스포머나 데이터셋 같은 머신러닝 프레임워크를 제공하는 세계 최대의 인공지능 플랫폼 중 하나인공지능계의 깃허브 - 공개된 머신러닝 레퍼런스를 통해 최신 모델을 스스로 구축 .. 2024. 10. 25.
〰️백준 - 17386 선분 교차 1 # 17386선분 교차 1🥇골3선분 교차 2를 옛날에 풀엇엇는데ccw썻던듯점 세 개의 선 방향을 알 때 쓰는 알고리즘 이걸 어케 쓰냐 하묜+ 비교차- 교차캬캬    선교2랑 다른 거는세 점이 일직선 위에 있는 경우는 없다. 가 있다2는 끝점이 겹치는 경우까지 예외처리햇어야햇오집가자 2024. 10. 24.
🔬sLLM 학습하기 :미세 조정(fine-tuning) ing LLM을 활용한 실전 AI 애플리케이션 개발 / 허정준🔬미세 조정 수행하기7B 이하 한국어 사전 학습 모델 중 가장 높은 성능을 보이는 beomi/Yi-Ko-6B 모델', '', '', '', '', '', '하', '', '', '', '', '', '', ',', '▁', '', '', '', '', '', '', '은', '▁', '', '', " data-og-host="huggingface.co" data-og-source-url="https://huggingface.co/beomi/Yi-Ko-6B" data-og-url="https://huggingface.co/beomi/Yi-Ko-6B" data-og-image="https://scrap.kakaocdn.net/dn/cpjD39/hyXlR.. 2024. 10. 24.
🔬sLLM 학습하기 : 성능 평가 파이프라인 LLM을 활용한 실전 AI 애플리케이션 개발 / 허정준🔬성능 평가 파이프라인 준비하기학습이 잘 진행된 것인지 판단할 수 있는 성능 지표 필요 뛰어난 성능의 LLM을 평가 지표로 사용하기Text2SQL 평가 방식EM 방식 : 생성한 sql문이 일치하는지 확인실행 정확도 방식 : sql 쿼리를 수행한 내용이 일치하는지 확인  - 평가 데이터셋- LLM sql 생성용 프롬프트- gpt 평가 사용 프롬프트 + api 요청 수행 코드평가 데이터셋 구축 학습+평가 데이터셋으로 나누기~ 평가 데이터셋 shangrilar/ko_text2sql · Datasets at Hugging FaceCREATE TABLE players ( player_id INT PRIMARY KEY AUTO_INCREMENT, usernam.. 2024. 10. 24.
🔬sLLM 학습하기 :Text2SQL 데이터셋 아그리고마라톤ㅜㅜ다 떨어짐LM을 활용한 실전 AI 애플리케이션 개발 / 허정준자연어 요청으로부터 적합한 SQL을 생성 실습에서 사용할 합성 데이터셋 모델이 잘 학습되고 있는지 평가하는 데 사용되는 평가 파이프라인 이후 성능 향상을 위한 다양한 조정transformers==4.40.1: Hugging Face의 Transformer 모델을 제공하는 패키지bitsandbytes==0.43.1:저수준의 최적화된 연산을 지원하는데, GPU 메모리 최적화 등에 사용accelerate==0.29.3: 멀티 GPU, TPU 분산 학습을 지원하는 패키지datasets==2.19.0: Hugging Face의 데이터셋 라이브러리로, 다양한 공개 데이터셋을 쉽게 다운로드하고 사용tiktoken==0.6.0: 토큰화를 지원.. 2024. 10. 24.
🦜카부캠 앵무말(Parrotalk) : GPT 파인 튜닝 이야 내 블로그 카카오 사내게시판에 올라갓대!gray 멘토님이 말해주심이럴 줄 알았으면 좀 말투 덜 유치하게 쓸걸🦜 GPT 파인 튜닝openAI 파인 튜닝 공식 가이드라인https://platform.openai.com/docs/guides/fine-tuning  데이터 세트 준비50-100개 사이 예제로 먼저 테스트해보기 AI-Hub샘플 데이터 ? ※샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며, 데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되www.aihub.or.kr훈련과 시험 분할 - Train and test splits데이터 서식 확인데이터 세트를 컴파일한 후 미세 조정 작업을 생성하기 전에 데이터 형식을 확인하는 것.. 2024. 10. 24.

티스토리툴바