전체 글1056 😛 Clip : Learning Transferable Visual Models From Natural Language Supervision : 4. Comparison to Human Performance - 9. Conclusion 😛 4. 인간 성능과의 비교 (Comparison to Human Performance) 🎯 실험 목적• CLIP과 인간이 비슷한 상황에서 제로샷/퓨샷 학습 성능을 어떻게 보이는지 비교• 모델과 인간의 표본 효율(sample efficiency) 및 학습 방식의 차이를 분석 🧪 실험 설계• 실험 데이터셋: Oxford IIT Pets (총 3669장, 37개의 고양이/강아지 품종)• 5명의 인간 평가자에게 3가지 조건에서 분류 실험 수행:• Zero-shot: 아무 예시도 없이 품종 분류• 1-shot: 품종별 예시 이미지 1장 제공• 2-shot: 품종별 예시 이미지 2장 제공• CLIP은 동일한 조건에서 제로샷 분류기로 평가 📊 결과 요약 (정량)조건전체 정확도“모름 제외” 정확도다수결 정.. 2025. 4. 4. 🛡️LG 전자 후원사 미팅 보호되어 있는 글 입니다. 2025. 4. 4. 25 생일 아카이브🎂 보호되어 있는 글 입니다. 2025. 4. 3. 😛 Clip : Learning Transferable Visual Models From Natural Language Supervision : 1. Introduction - 3. Experiments 😛 1. Introduction and Motivating Work 🧩 핵심 문제• 기존 컴퓨터 비전 모델은 고정된 라벨(예: ImageNet의 1000개 클래스)에 대해 훈련됨→ 새로운 시각 개념을 처리하려면 추가 라벨 데이터가 필요함 💡 새로운 대안: 자연어 기반 감독• 텍스트로부터 이미지 표현을 학습하면 훨씬 더 일반적이고 유연한 모델을 만들 수 있음• 자연어는 훨씬 넓은 시각 개념 공간을 표현할 수 있음 (예: “해변에 있는 노란 우산” 등) 📚 이전 연구 흐름• 과거 연구들도 텍스트-이미지 간의 연결을 활용하여 표현 학습을 시도• 예: 캡션 기반 단어 예측, 해시태그 기반 학습, 이미지-문서 동시 학습 등하지만:• 기존 연구들은 주로 소규모 데이터셋 또는 낮은 정확도 (예: 11.5% .. 2025. 4. 3. 🌰 컴퓨터공학과 이형준 담당교수님 면담 🌰 준비🌰 면담🌰 포인트 정리 멀티모달 모델링 방향기존 이미지 기반 모델에 물리량 또는 스펙트럼 등 다른 모달리티를 추가하는 방향은 타당함.텍스트 대신, 요약된 정보나 물리량 벡터를 프롬프트 형태로 활용하는 것도 좋은 접근.프롬프트 러닝(Prompt Tuning)은 생성형 AI와 접목해볼 수 있음. 페더레이티드 러닝에 대한 조언현재 프로젝트에서는 데이터가 공개되어 있고 분산 저장의 필요성이 크지 않기 때문에 굳이 연합학습을 적용할 필요는 없음.민감정보 보호 목적이 아닌 경우, 전통적인 중앙집중식 학습으로 충분. 협업 시 주의할 점천문학 전문가들과 협업 시, 컴퓨터공학 팀이 기술적 주도권을 유지하는 것이 중요함.도메인 요구사항과 컴퓨터공학적 타당성 사이에서 균형감각을 갖고 프로젝트를 이끌어야 함.연구.. 2025. 4. 3. 👅 멀티 모달 기초 [Multimodal Machine Learning: A Survey and Taxonomy] 논문 리딩 - 6. Fusion / 7. Co-learning 👅 6. Fusion 멀티모달 퓨전(multimodal fusion)은 멀티모달 머신러닝 분야의 초기 주제 중 하나로,기존 리뷰에서는 주로 초기(early), 후기(late), 하이브리드(hybrid) 퓨전 접근 방식에 중점 기술적으로 멀티모달 퓨전은 여러 모달리티로부터 정보를 통합하여 결과를 예측하는 것을 의미이 결과는 예를 들어 감정(기쁨 vs 슬픔) 같은 클래스 분류이거나, 감정의 정도 같은 연속적인 값(회귀)일 수 있음 멀티모달 퓨전의 세 가지 주요 장점1. 강인한 예측(Robustness): 동일한 현상을 관찰한 여러 모달리티의 정보를 이용해 더 견고한 예측 가능.2. 보완 정보(Complementarity): 하나의 모달리티만으로는 볼 수 없는 정보를 서로 보완해줌.3. 결측 데이터 대응.. 2025. 4. 3. 🔭 서울대학교 물리천문학부 Sascha Trippe 교수님 연구 면담 🔭 사전 준비🔭 면담 시작두근두그 떨림 들어오심...!우리를 잊지 않으셨군요..! 🔭 면담 와 소으니 댑악임외고는 달라소으니 없었으면 망햇어~ 국어책읽기.영어공부합니다🔭 면담 내용면담 내용 raw데이터 참석자 1좋은 아침입니다.먼저, 이렇게 만나게 되어 반갑고요. 여러분이 준비하신 어떤 질문이든 답변할 준비가 되어 있습니다. 참석자 2감사합니다. 혹시 저희 목소리 잘 들리시나요? 참석자 1네, 연결 상태 아주 좋습니다. 참석자 2감사합니다. 본격적으로 시작하기 전에 저희를 간단히 소개하겠습니다.저희는 이화여자대학교 컴퓨터공학과 4학년 학생들이고, 시간 내주셔서 정말 감사드립니다.현재 저희는 졸업 연구 프로젝트를 진행 중이며, 주어진 주제들 중에서 멀티모달 AI, 그중에서도 생성형 AI를 이.. 2025. 4. 3. 💥 Zoobot 모델 - 은하 병합 파인튜닝 테스트 : 데이터 한번 테스트를 해 보장기존 SOTA를 이해해야멀티모달 아키텍처로 개선해 볼 수 있을 것이당 ✅ 내 컴퓨터 구성 분석CPUi5-14600KF (6P+8E, 최대 5.3GHz)멀티코어 성능이 우수해서 학습보다는 데이터 전처리, 추론 등에 적합쿨러3RSYS 360mm 수랭 쿨러발열 많은 작업도 안정적 처리 가능메인보드B760M AORUS ELITE AXPCIe 4.0, M.2, Wi-Fi 등 학습용 구성에 충분RAMDDR5 32GB (16GB x2, 5600MHz)딥러닝 학습엔 최소 수준, 추론이나 중간 규모 데이터 처리엔 충분GPURTX 4070 Ti SUPER 16GBDL 학습 가능, TNG50 + Zoobot fine-tuning 규모에 적당SSDSK hynix P31 1TB (NVMe Gen3)빠르고 .. 2025. 4. 2. 🎯 Galaxy mergers 연구 알아보기 (Zoobot 모델 / 데이터 ) 🎯 Galaxy merger challenge: A comparison study between machine learning-based detection methods Aims: Various galaxy merger detection methods have been applied to diverse datasets. However, it is difficult to understand how they compare. Our aim is to benchmark the relative performance of merger detection methods based on machine learning (ML)" data-og-host="ui.adsabs.harvard.edu" data-og-source.. 2025. 4. 2. ✳️ 유런 DQN 발표 정리 보호되어 있는 글 입니다. 2025. 4. 1. 이전 1 2 3 4 ··· 106 다음
