본문 바로가기
  • 컴공생의 공부 일기
  • 공부보단 일기에 가까운 것 같은
  • 블로그

Club401

✳️ [Masked Autoencoders Are Scalable Vision Learners] 논문 읽기 📘 ABSTRACT 이 논문은 Masked Autoencoder(MAE)가 컴퓨터 비전에서 확장 가능한 자가 지도 학습 방법임을 보여준다. 우리의 MAE 접근법은 간단하다: 입력 이미지의 일부 패치를 무작위로 마스킹하고, 누락된 픽셀을 복원하는 것이다. 이 방법은 두 가지 핵심 설계에 기반한다. 첫째, 비대칭적인 인코더-디코더 구조를 설계했다. 인코더는 마스크된 토큰 없이 보이는 패치에만 작동하고, 디코더는 잠재 표현(latent representation)과 마스크 토큰을 이용해 원래 이미지를 복원한다.둘째, 입력 이미지의 상당 비율(예: 75%)을 마스킹하는 것이 의미 있는 자가 지도 학습 과제를 형성한다는 점을 발견했다. 이 두 설계를 결합함으로써, 우리는 대규모 모델을 효율적이고 효과적으로 학습.. 2025. 5. 14.
🔭 LSST with AI : day 2 싸인받았따!!소은이 알바 사장님이 부탁하셧다고 A4용지 묶음 가져옴ㅋㅋㅋㅋ나도 껴서 받음밥...오늘도 맛잇음...챱챱🔭 Practical application tutorial session II: machine learning with survey images GitHub - csabiu/KAML-2025: AI with LSST workshop - KAML 2025AI with LSST workshop - KAML 2025. Contribute to csabiu/KAML-2025 development by creating an account on GitHub.github.com 이미지 처리!🔭 Autoencoder-Based Galaxy Image Search: A New Approach to M.. 2025. 5. 14.
🔭 LSST with AI : day 1(PM) 밥...맛있음...공짜밥인데 짱임🔭 Practical application tutorial session I: machine learning with survey catalogs GitHub - csabiu/KAML-2025: AI with LSST workshop - KAML 2025AI with LSST workshop - KAML 2025. Contribute to csabiu/KAML-2025 development by creating an account on GitHub.github.com SDSS(슬론 디지털 전천탐사)의 천체 데이터를 불러와서 은하(GALAXY), 별(STAR), 퀘이사(QSO)를 분류하는 천체 분류 머신러닝 📚 전체 노트북 구성 요약 1. 데이터 수집 및 전처.. 2025. 5. 13.
🔭 LSST with AI : day 1(AM) 💫 LSST with AI : 11th Korea Astronomy Machine Learning Meeting 신청우주먼지 교수님이 추천해주셨다이번에 데이터 다뤄 보니까 어렵더라가서 체험하면 좋을 듯! "LSST with AI" KAML 2025Welcome! Welcome to the webpage of 11th Korea Astronomy Machine Learning Meeting, Spring 2025, "LSST with Ajunggoldchae-coding.tistory.com이거왓다쿠키 한국천문연구원KMTNet 생명체가 존재할 가능성이 있는 지구형 외계행성을 탐색하기 위하여 2009년부터 KMTNet 과제를 시작하였으며, 1.6m 광시야 망원경과 모자이크 CCD 카메라를 남반구의 칠레,.. 2025. 5. 13.
✳️ [Auto-Encoding Variational Bayes] 논문 리뷰 ✳️ 논문 리뷰 1. 🧾 논문 개요이 논문은 복잡한 연속 잠재 변수를 포함한 생성 모델에서 효율적인 추론과 학습을 가능하게 하는 변분 베이즈 추론 방법을 제안한다. 저자들은 Stochastic Gradient Variational Bayes (SGVB) 추정기를 기반으로 한 Auto-Encoding Variational Bayes (AEVB) 알고리즘을 개발하여, 대규모 데이터셋에서도 효율적인 근사 posterior 추론 및 학습을 가능하게 만들었다. 특히 인코더(추론 모델)와 디코더(생성 모델)를 신경망으로 구성한 Variational Autoencoder (VAE) 구조가 등장하게 된 결정적인 논문이다.2. 🎯 주요 기여✅ SGVB 추정기 제안: 미분 가능한 형태로 변분 하한(ELBO)을 추정할 .. 2025. 5. 12.
✳️ [Rainbow: Combining Improvements in Deep Reinforcement Learning] 인트로 리뷰 중간고사,,,,,가 드디어 끝 ✳️ 번역초록 (ABSTRACT)우리는 강화학습에서 사용할 수 있는 새로운 계열의 정책 경사(policy gradient) 알고리즘을 제안한다. 이 방법은 환경과의 상호작용을 통해 데이터를 샘플링하고, 확률적 경사 상승법(stochastic gradient ascent)을 통해 “대리 목적 함수(surrogate objective)“를 최적화하는 과정을 번갈아 수행한다. 기존의 정책 경사 방법들이 샘플 하나당 한 번의 경사 업데이트만 수행하는 반면, 우리는 미니배치(minibatch) 방식으로 여러 에폭(epoch)의 업데이트가 가능한 새로운 목적 함수를 제안한다.우리가 제안하는 새로운 방법인 Proximal Policy Optimization(PPO)은 Trust Regi.. 2025. 5. 12.
✳️ [PPO: Proximal Policy Optimization Algorithms] 인트로 리뷰 https://arxiv.org/pdf/1707.06347 PPO 예전에 살짝 공부했었던강화학습리워드모델 거리Abstract우리는 강화학습을 위한 새로운 계열의 정책 경사(policy gradient) 알고리즘을 제안한다. 이 알고리즘은 환경과의 상호작용을 통해 데이터를 샘플링하고, 확률적 경사 상승법(stochastic gradient ascent)을 이용해 “대리(surrogate)” 목적 함수를 최적화하는 과정을 번갈아 수행한다. 기존의 표준 정책 경사 알고리즘은 각 데이터 샘플마다 한 번의 경사 업데이트를 수행하는 반면, 본 논문에서는 미니배치(minibatch) 기반의 다중 에폭(epoch) 업데이트를 가능하게 하는 새로운 목적 함수를 제안한다. 이 새로운 방법을 Proximal Policy O.. 2025. 5. 5.
✳️ [GPT1: Improving Language Understanding by Generative Pre-Training] 논문 리뷰 https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf 시험 임박 기간ㅠ..✳️ 논문 리뷰 1. 🧾 논문 개요자연어 이해(Natural Language Understanding, NLU)를 향상시키기 위해 언어 모델의 사전 학습(generative pre-training)과 과제별 미세 조정(discriminative fine-tuning)을 결합하는 접근 방식을 제안 대규모 비지도 텍스트 코퍼스를 기반으로 언어 모델을 먼저 사전 학습하고, 그 후 각 특정 작업에 대해 소규모 라벨된 데이터로 미세 조정을 수행함기존의 각 작업별 모델 아키텍처에 의존하지 않고, 하나의 범용(transformer.. 2025. 5. 4.
👅 트랜스포머 멀티 모달 러닝 서베이 [Multimodal Learning With Transformers: A Survey] 논문 리딩 (2) 😛4. APPLICATION SCENARIOS - 😛7. CONCLUSION👅 논문 읽기집중력 소멸👅 논문 정리하기 😛4. APPLICATION SCENARIOS 1️⃣ 멀티모달 사전학습용 Transformers (4.1) ➡️ 대규모 멀티모달 데이터셋으로 미리 학습된 모델→ 다양한 다운스트림 작업에 전이학습, zero-shot 가능 (1) 과제 비특화 (4.1.1) 이미지-텍스트, 비디오-텍스트, 음성-텍스트 등 일반적 멀티모달 조합대표 모델: VisualBERT, ViLBERT, LXMERT, UNITER, VideoBERT, CLIPpretext task: MLM, ITM, masked image region prediction 등특징: 정렬된 데이터에 의존 → 대규모 데이터 필요, .. 2025. 5. 4.
👅 트랜스포머 멀티 모달 러닝 서베이 [Multimodal Learning With Transformers: A Survey] 논문 리딩 (1) 0. Abstract - 3. TRANSFORMERS만들었땅👅 논문 읽기 👅 논문 정리하기 😛0. AbstractTransformer 기반 멀티모달 학습은 인공지능 연구 분야에서 뜨거운 주제 (1) 멀티모달 학습, Transformer 생태계, 멀티모달 빅데이터 시대에 대한 배경 설명(2) 기하학적 위상학적 관점에서 바라본 Vanilla Transformer, Vision Transformer, 멀티모달 Transformer에 대한 체계적 리뷰(3) 멀티모달 사전학습과 특정 멀티모달 과제라는 두 가지 주요 패러다임에 따른 멀티모달 Transformer 애플리케이션 리뷰(4) 다양한 멀티모달 Transformer 모델과 애플리케이션이 공유하는 공통적인 도전 과제와 설계 요약(5) 커뮤니티를 위한 오픈.. 2025. 5. 1.

티스토리툴바