🤖 AI/AI12 태 대학 보내기 - 📐 embedding 우리 태 기하 보고서 쓰셔야 한다고소재 여쭈시길래NLP에서 쓰이는 임베딩(텍스트 벡터 변환)을 소개해줬다.비슷한 단어 묶음끼리의 벡터 값 유사성이 궁금하시다고 뽑아 볼 것을 요청하시는 모습이다.📐 임베딩하기임베딩 : 텍스트 데이터를 컴퓨터가 이해할 수 있는 수치형 데이터, 즉 벡터로 변환하는 과정 벡터는 해당 텍스트 유닛의 의미를 수치적으로 표현하며, 이러한 표현을 통해 컴퓨터는 텍스트 간의 유사성을 계산하거나, 텍스트 데이터를 기반으로 다양한 머신러닝 모델을 학습시킬 수 있음 ## 구조 ragMain가 메인 파이썬 코드 files에 동물/음식 텍스트 .cache 안에 각각의 벡터 저장값 secret안에 api는 유출하면 안 돼서 빼놓 ## 목적 임베딩(문서 내의 각 부분에 대한 벡터 표현)들의.. 2024. 6. 15. 🦙LlamaIndex 써보기 LLM 활용을 위한 데이터 프레임워크다~ 랭체인은 써 봤는데박사님이 라마인덱스도 써보라고 하셨다🦙TODO- 박사님 깃허브 코드 보기- 공식문서 보고 기본 세팅해보기- 뭐든 한번 돌려보기🦙박사님 깃허브 코드 보기엥 분명 애플리케이션 레포가 있었던 것 같은데없어진건가?🦙 공식문서 보고 기본 세팅해보기 + 뭐든 한번 돌려보기 LlamaIndex - LlamaIndexWelcome to LlamaIndex 🦙 ! LlamaIndex is a framework for building context-augmented LLM applications. Context augmentation refers to any use case that applies LLMs on top of your private or do.. 2024. 5. 18. 🌷구축형 AI 환경 세팅하기2 🌷 저번에 이상하게 계속 npm/docker/nodejs가 안 깔려서ㅠㅠ 우분투 삭제하고 처음부터 다시 아빠랑 했따🌷우분투 설치 ⭕️ 🌷apt 업데이트 ⭕️🌷gcc 컴파일러 설치 ⭕️🌷kernel headers 설치 ⭕️🌷엔비디아 드라이버 설치 ⭕️🌷CUDA 설치 ⭕️🌷cuDNN 설치 🌷miniConda 설치 ⭕️🌷docker 설치 ⭕️🌷npm 설치 ⭕️🌷node.js 설치 ⭕️🌷크롬 설치 ⭕️ cuDNN 설치가 안 된다!sudo cp cudnn-linux-x86_64-8.9.6.50_cuda12-archive/include/cudnn*.h /usr/local/cuda/include이게 안 되는데 cudnn-linux-x86_64-8.9.6.50_cuda12-archive 디렉터리는.. 2024. 5. 16. 🦙 LlamaIndex - RAG 정리 High-Level Concepts (RAG) - LlamaIndexHigh-Level Concepts (RAG) This is a quick guide to the high-level concepts you'll encounter frequently when building LLM applications. Retrieval Augmented Generation (RAG) LLMs are trained on enormous bodies of data but they aren't trained on your data. Redocs.llamaindex.ai RAG에서는 여러분의 데이터가 로드되어 쿼리를 위해 준비되거나 "인덱싱"됨사용자 쿼리는 인덱스에서 작동하여 데이터를 가장 관련 있는 맥락으로 필터링이 맥.. 2024. 5. 10. 🦜langchain - RAG 정리 Retrieval | 🦜️🔗 LangChainMany LLM applications require user-specific data that is not part of the model's training set.python.langchain.comLLM applications require user-specific data that is not part of the model's training set.=> Retrieval Augmented Generation (RAG) 랭체인에서 RAG를 하기 위한 요소들 🦜Document loaders다양한 출처에서 문서(user-specific data)를 로드- 100개가 넘는 다양한 문서 로더 보유- LangChain은 모든 유형의 문서(HTML, P.. 2024. 5. 10. 🪻구축형 AI 환경 세팅하기 🪻 어느 날...깨달은것이다바로AI를 안하면살아남을수없을것임을.....🪻apt 업데이트 APT(Advanced Package Tool)리눅스 시스템에서 소프트웨어를 설치, 업데이트, 제거하는 명령줄 기반의 패키지 관리 도구 패키지 검색: APT는 사용자가 필요로 하는 패키지를 검색패키지 설치: APT를 사용하여 시스템에 새로운 소프트웨어 패키지를 설치패키지 업그레이드: APT는 현재 시스템에 설치된 패키지의 버전을 최신 버전으로 업그레이드패키지 제거: 더 이상 필요하지 않거나 시스템에서 제거하려는 패키지를 APT를 사용하여 제거의존성 관리: APT는 패키지간의 의존성을 자동으로 관리다.패키지 캐싱: APT는 로컬 캐시를 유지하여 패키지 다운로드를 최적화합 🪻NVIDIA 드라이버, NVIDIA CUDA.. 2024. 4. 8. ✅ Viuron - Kia_EV6_RAG Kia_EV6 문서 RAG 해보라고 하셔서 해본다예전에 햇던 거에서 사실 문서만 바꾸면 되는..ㅎㅎ- 레포지토리에 "RAG" 폴더 하나 만들기 - 브랜치 하나 파서 작업하기 git checkout -b Goldchae 500쪽 분량에 달하는 https://ev6.synology.me/EV6_manual.pdf기아 EV6 매뉴얼이다 얘를 넘기고질문받는다 ✅ 결과### 질문구동용(고전압) 배터리에 대해 알려줘### 대답구동용(고전압) 배터리는 차량을 구동하는 데 사용되는 고전압 배터리입니다. 이 배터리는 리튬 이온 배터리로 구성되어 있으며, 차량을 주행하지 않아도 배터리 잔량이 서서히 감소할 수 있습니다. 또한, 최고 또는 최저 온도에서 차량을 보관할 경우 배터리 용량이 저하될 수 있습니다. 배터리 충전.. 2024. 4. 1. 📖논문 - Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 Prompt engineering is the art of communicating with a generative large language model.- ChatGPT 2023 Beyond mere task instruction, recent studies have shifted towards understanding the semantic and contextual nuances in prompts, examining how subtle changes can lead to significantly different responses from the LLM.- 논문 중📖 논문 Principled Instructions Are All You Need for Questioning LLaMA-1/2, .. 2024. 3. 20. LLM - 냥plus🐈 저번 LLM 정리글에 지인이 답변을 달아 줬다.알아보자🥟 tokenization 토큰화 text : 문서나 문장 Corpus(말뭉치) : 텍스트에서 데이터 분석이나 모델 개발 등 특정 목적을 위해 수집된 텍스트 데이터Tokenization : 텍스트를 작은 단위(토큰)로 분리하는 것 Features : 토큰화, 정제, 정규화, 불용어 처리, 인코딩 등 여러 단계를 거쳐 실제 모델의 입력 데이터단어 사전 : 토큰의 리스트 🦾 Word Tokenization- 가장 일반적인 토큰화 방법- 특정 구분기호를 가지고 텍스트를 나누는 방법 (영어의 경우 기본적으로 공백 / 한글의 경우 교착어라는 특징 - 단어 구분이 쉽지 않음) OOV 문제(Out Of Vocabulary)입력된 데이터가 이미 만들어져 있던 단.. 2024. 1. 28. 신촌정보 MY GPTS 만들어보기 보호되어 있는 글 입니다. 2024. 1. 24. 이전 1 2 다음
