본문 바로가기
  • 컴공생의 공부 일기
  • 공부보단 일기에 가까운 것 같은
  • 블로그

Club|Project487

✳️ [PPO: Proximal Policy Optimization Algorithms] 인트로 리뷰 https://arxiv.org/pdf/1707.06347 PPO 예전에 살짝 공부했었던강화학습리워드모델 거리Abstract우리는 강화학습을 위한 새로운 계열의 정책 경사(policy gradient) 알고리즘을 제안한다. 이 알고리즘은 환경과의 상호작용을 통해 데이터를 샘플링하고, 확률적 경사 상승법(stochastic gradient ascent)을 이용해 “대리(surrogate)” 목적 함수를 최적화하는 과정을 번갈아 수행한다. 기존의 표준 정책 경사 알고리즘은 각 데이터 샘플마다 한 번의 경사 업데이트를 수행하는 반면, 본 논문에서는 미니배치(minibatch) 기반의 다중 에폭(epoch) 업데이트를 가능하게 하는 새로운 목적 함수를 제안한다. 이 새로운 방법을 Proximal Policy O.. 2025. 5. 5.
✳️ [GPT1: Improving Language Understanding by Generative Pre-Training] 논문 리뷰 https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf 시험 임박 기간ㅠ..✳️ 논문 리뷰 1. 🧾 논문 개요자연어 이해(Natural Language Understanding, NLU)를 향상시키기 위해 언어 모델의 사전 학습(generative pre-training)과 과제별 미세 조정(discriminative fine-tuning)을 결합하는 접근 방식을 제안 대규모 비지도 텍스트 코퍼스를 기반으로 언어 모델을 먼저 사전 학습하고, 그 후 각 특정 작업에 대해 소규모 라벨된 데이터로 미세 조정을 수행함기존의 각 작업별 모델 아키텍처에 의존하지 않고, 하나의 범용(transformer.. 2025. 5. 4.
👅 트랜스포머 멀티 모달 러닝 서베이 [Multimodal Learning With Transformers: A Survey] 논문 리딩 (2) 😛4. APPLICATION SCENARIOS - 😛7. CONCLUSION👅 논문 읽기집중력 소멸👅 논문 정리하기 😛4. APPLICATION SCENARIOS 1️⃣ 멀티모달 사전학습용 Transformers (4.1) ➡️ 대규모 멀티모달 데이터셋으로 미리 학습된 모델→ 다양한 다운스트림 작업에 전이학습, zero-shot 가능 (1) 과제 비특화 (4.1.1) 이미지-텍스트, 비디오-텍스트, 음성-텍스트 등 일반적 멀티모달 조합대표 모델: VisualBERT, ViLBERT, LXMERT, UNITER, VideoBERT, CLIPpretext task: MLM, ITM, masked image region prediction 등특징: 정렬된 데이터에 의존 → 대규모 데이터 필요, .. 2025. 5. 4.
👅 트랜스포머 멀티 모달 러닝 서베이 [Multimodal Learning With Transformers: A Survey] 논문 리딩 (1) 0. Abstract - 3. TRANSFORMERS만들었땅👅 논문 읽기 👅 논문 정리하기 😛0. AbstractTransformer 기반 멀티모달 학습은 인공지능 연구 분야에서 뜨거운 주제 (1) 멀티모달 학습, Transformer 생태계, 멀티모달 빅데이터 시대에 대한 배경 설명(2) 기하학적 위상학적 관점에서 바라본 Vanilla Transformer, Vision Transformer, 멀티모달 Transformer에 대한 체계적 리뷰(3) 멀티모달 사전학습과 특정 멀티모달 과제라는 두 가지 주요 패러다임에 따른 멀티모달 Transformer 애플리케이션 리뷰(4) 다양한 멀티모달 Transformer 모델과 애플리케이션이 공유하는 공통적인 도전 과제와 설계 요약(5) 커뮤니티를 위한 오픈.. 2025. 5. 1.
❇️ BERT / ViT 발표 정리 보호되어 있는 글 입니다. 2025. 4. 29.
✳️ [ViT: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale] 인트로 리뷰 앗차.. An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleWhile the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to reparxiv.org ✳️ 번역 이미지는 16x16 단어의 가치가 있다: 대규모 이미지 인식을 위한 트랜스포머 .. 2025. 4. 28.
졸프 현황 끄적끼 : SpaceAI 통과! / 졸프용 계정 관리 / 에그타르트의맛 🌌 SpaceAI 통과!현황 공유..! 서울대 간 거랑 황의원 교수님 랩실 들어간 거랑 말했는데 고민고민... 왜 고민하냐면..아 이게 어쩌다 보니까 덩어리내용물설명캡스톤졸업프로젝트 수업 우주정복 팀나, 한나, 소은이졸프 팀연세대 천문우주학과 협업 AI x 우주 팀 우주정복 팀, 예진언니, 희수언니천문우주학과 다니는 예진 언니랑 석사 과정 중인 희수 언니SpaceAI 한국천문연구원 프로그램 : 지웅배 교수님 Synergi 팀지웅배 교수님, 연세대 천문우주학과 주임 조교 김은택님, AI x 우주 팀세종대 우주먼지 지웅배 교수님이 제안 주신 프로그램 연구 제안서 제출에 교수님 랩실 후배이신 듯한 은택님과 같이 합류서울대 황호성 교수님 랩실 황호성 교수님 , 이가인 연구원님, 김이곤 연구원님, AI x 우.. 2025. 4. 28.
✳️ [BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding] 논문 리뷰 https://arxiv.org/pdf/1810.04805 ✳️ [BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding] 논문 공부 으으...언제 다 읽지 근데pdf로 숏츠 만들어주는 사이트 있다? PDF to Brainrot Video Generator: Boring PDFs to Video | PDF To BrainrotUpload your PDF and watch it transform into engaging, TikTok-style 'brainrot' content. Our AI-powered tool makes learning fun and effective. Try PDF To Brainrot.. 2025. 4. 26.
💗 서울대 김이곤/이가인 연구원님 방문 면담 : TNG data 사용 & 모델 아키텍처 자문 💗 TODO- 보여주신 것처럼 읽은 관련논문 리스트 정리용 docs 만들기- 천문팀 언니들이 선행연구 이미지 데이터셋 만들어 주면 zoobot 파인튜닝 모델로 성능 테스트해보기- 지웅배 굣님 spaceAI 팀 : 우리가 무엇을 어디까지 해 드려야 하는 건지 정확히 알기- 서울대 황호성굣님 서버 써보기 (비번바꾸기- 이가인 연구원님 TNG 데이터셋 지도내용 복습 & 괜찮아 보이는 물리량 후보들 선정 - 어떤 데이터를 이용할지 정확히 설계하기- 황의원 교수님 추천 논문 선정/읽기- 지웅배 교수님 추천 논문 읽기- 스탠포드 딥러닝 강의 수강- 메일 답장+ 연구비 영수증 아카이브하기금요일(04/25) 오후 4시서울대학교 19동 201호 Extragalactic Astronomy and Cosmology Te.. 2025. 4. 26.
👨🏻‍🚀 IllustrisTNG 지도 내용 복습 정리 보호되어 있는 글 입니다. 2025. 4. 26.

티스토리툴바