서울대 황호성 교수님과의 면담드뎌 천문학 교수님들 미팅 1회차 끄읕... 면담 진짜 알찼다 모르는 거 싹 다 물어봄  ✨  면담 내용 txt 👀  면담 핵심 내용 1.  Zooniverse 활용 추천Zooniverse : 시민 참여 프로젝트, 라벨링된 은하 형태 데이터 얻을 수 있음나중에 우리 모델 만들어서 Zooniverse 데이터로 검증해도 좋을 듯  2.  IllustrisTNG Data의 분광학 데이터우리가 현재 필요한 데이터 형태는은하의 이미지 + 각 이미지에 해당하는 물리량 데이터 + 라벨링(병합 전, 후, 직후, 이후)IllustrisTNG 데이터가 각 이미지에 대응하는 분광 데이터가 있는지...?? 답변 : 은하 목록, 가시광 이미지, 분광 스펙트럼으로부터 계산한 여러 물리량들이 테이블 ..

Data 데이터의 조건:  광학 데이터(이미지)와 분광학 데이터(수치)가 함께 있을 것:  광학 데이터와 분광학 데이터가 매칭되어 있을 것 ( A 은하의 광학 / 분광학 데이터가 매칭 ):  은하의 병합 여부가 라벨링되어 있을 것 (train data의 경우):  데이터양이 많을 것  [ 시뮬레이션 데이터 ] Illustris TNG simulation data   :  은하의 시뮬레이션 이미지 데이터가 존재하며 시뮬레이션 후처리를 통해 분광학 데이터를 추출할 수 있다-  분광학 데이터 추출 방법:  SKIRT를 사용한 광학/IR 모의 관측 결과 일부 제공:  Bruzual & Charlot (2003) 또는 FSPS (Flexible Stellar Population Synthesis) 등의 모델 사용..

경희대 아이돌... 문용재 교수님 면담 히히 👀  면담 내용 요약 1.  데이터 확보의 문제 멀티모달 처리를 위해선 이미지와 스펙트럼 등의 페어 데이터가 필요하다고 지적.단순히 이미지가 많다고 해서 될 일은 아니며, 정확한 매칭 데이터 확보가 관건. 2.  기존 논문과 성능선행 논문에서는 70% 성능을 냈고, 기존 단일 모델보다 멀티모달 모델이 성능 향상을 보임.라벨링 여부 및 데이터 사용 범위는 아직 확인이 더 필요  3.  컴퓨터공학과의 연구 방향데이터보다 방법론(Methodology)에 초점을 맞춰야 한다는 점.기존 천문학 논문을 그대로 재현하는 게 아닌, 컴공 지식을 활용해 방법론적 개선을 보여주는 것이 필요. 4.  주제의 학문적 가치은하 연구는 천문학에서 매우 중요한 분야이며, 우주의 기원과..

서울대학교 Sascha Trippe 교수님 면담두구두구두구....너무 떨렸자나....  헿 ✨ 면담 내용.txt  👀  핵심 내용 요약 1.  은하 병합 감지할 때 사용할 만한 feature, modality? Galaxy Zoo Project의 데이터를 사용 제안 -> 은하의 형태에 대한 데이터가 많을 것Galaxy Zoo Project : 일반 시민들이 온라인으로 다양한 은하 사진을 보고 그 형태(예: 나선형, 타원형 등)를 분류함으로써, 천문학자들이 우주의 구조와 진화를 연구하는 데 도움을 주는 대규모 시민 과학 프로젝트 2.  시뮬레이션 데이터로 학습한 모델을 실제 관측 데이터에 적용해도 될지? 고해상도 시뮬레이션은 실제 관측과 매우 유사함다만 해상도와 개별 은하가 얼마나 잘 분해되어 있는지가 ..

Abstract & Introduction 우리의 세계 경험은 시각, 청각, 촉각, 후각, 미각과 같이 여러 감각(modality)을 통해 이루어진다.인공지능(AI)이 주변 세계를 더 잘 이해하려면 이러한 다중 모달 신호를 함께 해석할 수 있어야 한다.Multimodal Machine Learning은 여러 모달리티의 정보를 처리하고 상호 연관시키는 모델을 구축하는 것을 목표로 한다. 이 논문에서는 특히 세 가지 주요 모달리티에 초점을 맞춘다.자연어(Natural Language) - 텍스트(문자) 또는 음성으로 표현됨시각적 신호(Visual Signals) - 이미지 또는 비디오 형태로 표현됨음성 신호(Vocal Signals) - 소리 및 억양(prosody), 감정 표현을 포함 또한 이 논문에서는 ..

연구 주제가 어느정도 정해지고 있다...!요놈이 제일 가능성 높은 주제일 듯하다실제 관측 데이터(측광 데이터+분광 데이터)와, 3D 시뮬레이션 데이터(시뮬 이미지 데이터+입력 데이터..?)를 사용해서은하의 충돌 여부 예측 어떤 주제가 되었든 이미지 + 수치 멀티모달리티를 사용하게 될 듯해서멀티모달의 대략적인 아키텍처가 어떤 식일지 조사해봤다  1.  멀티모달 딥러닝의 대략적인 아키텍처 전체적인 흐름Data Input다양한 형태의 데이터 입력받기Encoding피처 추출 및 벡터화 -> 잠재 공간 매핑 -> 차원 축소Fusion다른 타입의 데이터 잠재 공간과 합치기Train/Test학습 및 예측 우선 여러 형태의 데이터들을 컴퓨터가 잘 이해할 수 있는 범주 내로 끌고와야 하기 때문에 인코딩을 한다이때 인코딩..