🤖 AI/AI18 🦜langchain - RAG 정리 Retrieval | 🦜️🔗 LangChainMany LLM applications require user-specific data that is not part of the model's training set.python.langchain.comLLM applications require user-specific data that is not part of the model's training set.=> Retrieval Augmented Generation (RAG) 랭체인에서 RAG를 하기 위한 요소들 🦜Document loaders다양한 출처에서 문서(user-specific data)를 로드- 100개가 넘는 다양한 문서 로더 보유- LangChain은 모든 유형의 문서(HTML, P.. 2024. 5. 10. 🪻구축형 AI 환경 세팅하기 🪻 어느 날...깨달은것이다바로AI를 안하면살아남을수없을것임을.....🪻apt 업데이트 APT(Advanced Package Tool)리눅스 시스템에서 소프트웨어를 설치, 업데이트, 제거하는 명령줄 기반의 패키지 관리 도구 패키지 검색: APT는 사용자가 필요로 하는 패키지를 검색패키지 설치: APT를 사용하여 시스템에 새로운 소프트웨어 패키지를 설치패키지 업그레이드: APT는 현재 시스템에 설치된 패키지의 버전을 최신 버전으로 업그레이드패키지 제거: 더 이상 필요하지 않거나 시스템에서 제거하려는 패키지를 APT를 사용하여 제거의존성 관리: APT는 패키지간의 의존성을 자동으로 관리다.패키지 캐싱: APT는 로컬 캐시를 유지하여 패키지 다운로드를 최적화합 🪻NVIDIA 드라이버, NVIDIA CUDA.. 2024. 4. 8. ✅ Viuron - Kia_EV6_RAG Kia_EV6 문서 RAG 해보라고 하셔서 해본다예전에 햇던 거에서 사실 문서만 바꾸면 되는..ㅎㅎ- 레포지토리에 "RAG" 폴더 하나 만들기 - 브랜치 하나 파서 작업하기 git checkout -b Goldchae 500쪽 분량에 달하는 https://ev6.synology.me/EV6_manual.pdf기아 EV6 매뉴얼이다 얘를 넘기고질문받는다 ✅ 결과### 질문구동용(고전압) 배터리에 대해 알려줘### 대답구동용(고전압) 배터리는 차량을 구동하는 데 사용되는 고전압 배터리입니다. 이 배터리는 리튬 이온 배터리로 구성되어 있으며, 차량을 주행하지 않아도 배터리 잔량이 서서히 감소할 수 있습니다. 또한, 최고 또는 최저 온도에서 차량을 보관할 경우 배터리 용량이 저하될 수 있습니다. 배터리 충전.. 2024. 4. 1. 📖논문 - Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 Prompt engineering is the art of communicating with a generative large language model.- ChatGPT 2023 Beyond mere task instruction, recent studies have shifted towards understanding the semantic and contextual nuances in prompts, examining how subtle changes can lead to significantly different responses from the LLM.- 논문 중📖 논문 Principled Instructions Are All You Need for Questioning LLaMA-1/2, .. 2024. 3. 20. LLM - 냥plus🐈 저번 LLM 정리글에 지인이 답변을 달아 줬다.알아보자🥟 tokenization 토큰화 text : 문서나 문장 Corpus(말뭉치) : 텍스트에서 데이터 분석이나 모델 개발 등 특정 목적을 위해 수집된 텍스트 데이터Tokenization : 텍스트를 작은 단위(토큰)로 분리하는 것 Features : 토큰화, 정제, 정규화, 불용어 처리, 인코딩 등 여러 단계를 거쳐 실제 모델의 입력 데이터단어 사전 : 토큰의 리스트 🦾 Word Tokenization- 가장 일반적인 토큰화 방법- 특정 구분기호를 가지고 텍스트를 나누는 방법 (영어의 경우 기본적으로 공백 / 한글의 경우 교착어라는 특징 - 단어 구분이 쉽지 않음) OOV 문제(Out Of Vocabulary)입력된 데이터가 이미 만들어져 있던 단.. 2024. 1. 28. 신촌정보 MY GPTS 만들어보기 보호되어 있는 글 입니다. 2024. 1. 24. 🦾LLM 강의 정리~!~!🦾 대규모언어모델이란-1부오랜만에 포스팅합니다. 작년부터 GPT에 관심을 가졌고, 로컬LLM의 세계를 접한지가 벌써 년수로 2년차가 되가고 있네요 앞으로는 AI하면 LLM이고 2024년 올해부터 LLM은 골드러쉬가 시작된다고 생각nextshds.tistory.com강의 출처~LLM이란 ? 대규모의 언어 텍스트 데이터를 사용하여 학습된 대화형 자연어 처리 딥러닝 모델🤖 인공지능 구분딥러닝 ⊂ 머신러닝 ⊂ 인공지능 인공지능 : 사람의 지적능력을 컴퓨터를 통해 구현하는 기술 머신러닝 : 주어진 데이터를 인간이 먼저 처리, 사람이 먼저 컴퓨터에 특정 패턴을 추출하는 방식을 지시, 이후 컴츄터가 스스로 데이터를 분석하고 축적 딥러닝 :머신러닝에서 사람이 하던 패턴 추출 작업이 생략. 컴퓨터가 스스로 데이터를 기.. 2024. 1. 23. 🤖LLM - 대규모 언어 모델 대규모 언어 모델의 정의 그리고 생성형 AI와의 관계2022년 11월 등장한 챗GPT(ChatGPT)는 기업과 소비자가 작업 자동화와 창의적인 아이디어 지원, 심지어 소프트웨어 코딩에까지 생성형www.itworld.co.kr🤖 대규모 언어 모델일종의 컴퓨터 알고리즘인 LLM은 자연어 입력 내용을 처리하고 이미 나온 것을 기반으로 다음 단어를 예측그 후에는 그 다음 단어를 예측하고 또 그 다음 단어를 예측하여 답변을 완성 + 엄청난 분량의 데이터 +데이터 입출력 집합을 통해 학습된 머신러닝 신경 네트워크+텍스트는 미분류 상태이며 모델은 자기지도 또는 준 지도학습 방법론을 사용할 때가 잦음 +백만 개, 수십억 개, 심지어 수조 개의 매개변수에 의해 제어 🤖 LLM 사용 예시오픈AI의 GPT-3 및 4.. 2023. 9. 28. 이전 1 2 다음
