경희대 아이돌... 문용재 교수님 면담 히히 👀  면담 내용 요약 1.  데이터 확보의 문제 멀티모달 처리를 위해선 이미지와 스펙트럼 등의 페어 데이터가 필요하다고 지적.단순히 이미지가 많다고 해서 될 일은 아니며, 정확한 매칭 데이터 확보가 관건. 2.  기존 논문과 성능선행 논문에서는 70% 성능을 냈고, 기존 단일 모델보다 멀티모달 모델이 성능 향상을 보임.라벨링 여부 및 데이터 사용 범위는 아직 확인이 더 필요  3.  컴퓨터공학과의 연구 방향데이터보다 방법론(Methodology)에 초점을 맞춰야 한다는 점.기존 천문학 논문을 그대로 재현하는 게 아닌, 컴공 지식을 활용해 방법론적 개선을 보여주는 것이 필요. 4.  주제의 학문적 가치은하 연구는 천문학에서 매우 중요한 분야이며, 우주의 기원과..

서울대학교 Sascha Trippe 교수님 면담두구두구두구....너무 떨렸자나....  헿 ✨ 면담 내용.txt  👀  핵심 내용 요약 1.  은하 병합 감지할 때 사용할 만한 feature, modality? Galaxy Zoo Project의 데이터를 사용 제안 -> 은하의 형태에 대한 데이터가 많을 것Galaxy Zoo Project : 일반 시민들이 온라인으로 다양한 은하 사진을 보고 그 형태(예: 나선형, 타원형 등)를 분류함으로써, 천문학자들이 우주의 구조와 진화를 연구하는 데 도움을 주는 대규모 시민 과학 프로젝트 2.  시뮬레이션 데이터로 학습한 모델을 실제 관측 데이터에 적용해도 될지? 고해상도 시뮬레이션은 실제 관측과 매우 유사함다만 해상도와 개별 은하가 얼마나 잘 분해되어 있는지가 ..

Abstract & Introduction 우리의 세계 경험은 시각, 청각, 촉각, 후각, 미각과 같이 여러 감각(modality)을 통해 이루어진다.인공지능(AI)이 주변 세계를 더 잘 이해하려면 이러한 다중 모달 신호를 함께 해석할 수 있어야 한다.Multimodal Machine Learning은 여러 모달리티의 정보를 처리하고 상호 연관시키는 모델을 구축하는 것을 목표로 한다. 이 논문에서는 특히 세 가지 주요 모달리티에 초점을 맞춘다.자연어(Natural Language) - 텍스트(문자) 또는 음성으로 표현됨시각적 신호(Visual Signals) - 이미지 또는 비디오 형태로 표현됨음성 신호(Vocal Signals) - 소리 및 억양(prosody), 감정 표현을 포함 또한 이 논문에서는 ..

연구 주제가 어느정도 정해지고 있다...!요놈이 제일 가능성 높은 주제일 듯하다실제 관측 데이터(측광 데이터+분광 데이터)와, 3D 시뮬레이션 데이터(시뮬 이미지 데이터+입력 데이터..?)를 사용해서은하의 충돌 여부 예측 어떤 주제가 되었든 이미지 + 수치 멀티모달리티를 사용하게 될 듯해서멀티모달의 대략적인 아키텍처가 어떤 식일지 조사해봤다  1.  멀티모달 딥러닝의 대략적인 아키텍처 전체적인 흐름Data Input다양한 형태의 데이터 입력받기Encoding피처 추출 및 벡터화 -> 잠재 공간 매핑 -> 차원 축소Fusion다른 타입의 데이터 잠재 공간과 합치기Train/Test학습 및 예측 우선 여러 형태의 데이터들을 컴퓨터가 잘 이해할 수 있는 범주 내로 끌고와야 하기 때문에 인코딩을 한다이때 인코딩..

Process:  실행 중인 프로그램  Context:  Process의 문맥 ( 현재 상태, 과거 기록 ) Context 종류-  하드웨어 문맥 : CPU 수행 상태    ->  Program Counter : CPU가 다음에 실행할 명령어의 주소 저장 - 프로세스의 주소 공간인 code를 가르키고 있음    ->  Register : CPU 연산에 필요한 데이터 저장-  프로세스의 주소 공간 : code, data, stack-  프로세스 관련 커널 자료 구조 : 커널(OS) 또한 함수를 통해 작동하기 때문에 관련 데이터를 저장하는 자료 구조(주소 공간)이 존재함   ->  PCB(Process Control Block) : 커널의 주소 공간인 data 내에 있음    ->  Kernel Stack ..

👀  주제 후보 정리 우주 데이터의 종류는 크게 Photometric Data(Image Data), Spectroscopic Data(Numerical Data)따라서 Multi-Modality를 만족하기 위해서는 저 두 데이터를 융합해서 학습해야 함 1.  Photometric Data + Spectroscopic Data 로 RedShift 예측    :  측광 데이터 -> 겉보기 등급 추정 가능    :  분광 데이터 -> 파장에 따른 빛의 세기를 측정하여 거리(적색편이로 추정 가능한) 파악 -> 절대 등급 계산 가능    -  Photometric Data와 Spectroscopic Data를 대응시켜 예측 모델(측광->분광 데이터 예측) 생성    -  예측 모델을 통해 추정해낸 Spectr..