👽 졸업 논문 ( 16 ) - 논문 분석 : CLASSIFICATION OF QUASARS, GALAXIES,AND STARS USING MULTI-MODAL DEEPLEARNING

 

 

 

🌌 멀티모달 딥러닝을 활용한 천체 분류

CLASSIFICATION OF QUASARS, GALAXIES,AND STARS USING MULTI-MODAL DEEPLEARNING

https://arxiv.org/pdf/2205.10745

이미지 데이터 + 수치 데이터를 인풋한 멀티모달 AI 연구이기 때문에 우리 연구와 접점이 많을 듯해서 분석해보려고 한다

 

 

Abstract / Introduction

 

연구 목표 : 천체 이미지 데이터와 수치형 데이터를 인풋한 머신러닝, 딥러닝, 멀티모달 딥러닝 모델의 은하, 별, 퀘이사 분류 성능 비교 

사용 데이터 : Sloan Digital Sky Survey (SDSS) Data Release 16

모델 및 알고리즘 : 머신러닝(수치형 데이터), 딥러닝(이미지 데이터), 멀티모달 딥러닝(수치 + 이미지 데이터)

머신러닝

:  Logistic Regression, Random Forest, Decision Tree, Adaboost, LightGBM, Artificial Neural Networks (ANN)

 

딥러닝

: ResNet50, VGG16, EfficientNetB2, Xception, DenseNet121

 

멀티모달 딥러닝

• 이미지 + 표 데이터를 결합하여 학습
• 단일 모달 모델보다 높은 정확도, 정밀도, 재현율, F1 스코어 달성
• 클래스 불균형 문제 처리에 강함

 

 

Related Work

 

기존 머신러닝 연구

• 데이터셋 : SDSS-3, DR-12, DR-14의 광학 측정 매개변수(수치형 데이터)
• 알고리즘 : Logistic Regression, Random Forest, Naive Bayes Classifier, Gradient Boosting, Decision Tree
• 다중 분류, 이중 분류

기존 딥러닝 연구

• 데이터셋 : SDSS DR 9, Galaxy Zoo2의 광학 측정 매개변수를 사용해 이미지 생성
• 알고리즘
  • CNN 구조 -> Temporal Convolution, Filter Convolution 등 다양한 CNN 변형
  • CNN과 머신러닝 모델(KNN, Random Forest)을 결합하여 성능 향상

멀티모달 학습 관련 연구

• 황반변성(AMD) 분류 및 진단
  • 모달리티 : OCT(광간섭단층촬영 - 이미지), OCT-Angiography, Color Fundus Photography(컬러 안저 사진)
  • 모델 구조 : Resnet - Inception - V2
• 전립선 암의 악성/양성 병변 및 임상적으로 중요한 비활성 전립선암의 진단, 분류
  • 모달리티 : ADC, T2 가중 이미지
  • 모델 : CNN 아키텍처에 Resnet 50, GoogleNet 22, VGG 16 등 적용

다중 모달 아키텍처에서의 융합 기법

• 각 모달리티를 개별적으로 학습한 뒤 Max Pooling 레벨에서 융합
• 완전 연결층 병합
• 피처 맵의 요소별 합
• PCA를 통한 병합 벡터의 차원 축소

융합 기법

• 조기 융합 - Alexnet
• 지연 융합 - softmax 이전에 융합

기타

• 네트워크 융합 기법 - 덧셈 방식, 곱셈 방식(곱셈 방식이 더 좋은 성능 나타냄)
• 부스팅 확장 - 잘못 분류된 클래스에만 패널티 부여

 

 

Methodology

 

SDSS-4 DR16 데이터 구성

• 수치형 데이터
  • 광학 스펙트럼, 적외선 스펙트럼, IFU 스펙트럼(MaNGA), 항성 라이브러리 스펙트럼(MaStar), 그리고 카탈로그 데이터(스펙트럼에서 얻어진 광도 및 적색편이 등 매개변수들)
  • SDSS 웹사이트에서 사용자 정의 SQL 쿼리를 통해 다운로드
• 이미지 데이터
  • SDSS API를 통해 ra(적경)와 dec(적위) 좌표를 기반으로 받아왔으며, 확대(scale=0.1)를 통해 중심 천체만 포함되도록 하여 정확도를 향상
• 1000개의 샘플 사용, 학습:검증 데이터 비율은 70:30

 

데이터 전처리

수치형 데이터

• 6개의 연속적인 수치형 독립변수 와 1개의 범주형 타깃변수로 구성
• 결측값 및 이상치(outlier) 확인, 타겟 라벨 인코딩, 클래스 불균형 처리(가중치 적용), 표준화 수행

이미지 데이터

• 모든 이미지를 중심 확대(scale=0.1) 후 512x512 픽셀로 리사이즈
• 이미지 정규화
• 정규화하지 않은 이미지도 실험적으로 사용하여 정확도에 미치는 영향 분석

이미지 정규화 방식

Min-Max 정규화 : 픽셀 값을 0~1 사이로 정규화
Z-score 정규화 : 평균을 0, 표준편차를 1로 맞추는 방식
Mean-Subtraction : 각 픽셀에서 평균값을 빼는 방식
Predefined Normalization : 대형 데이터셋 학습에 사용된 모델을 재사용(전이학습)할 때 사용하는 정규화 방식
Unit Vector : 픽셀 벡터를 L2 정규화하여 길이를 1로 만드는 방식

 

사용된 모델

머신러닝 모델

• PyCaret 라이브러리를 사용
• 평가 지표: 정확도, 재현율, 정밀도, F1 점수
• 인공신경망(ANN) 모델은 3개의 Dense Layer로 구성

PyCaret 라이브러리
머신러닝 모델을 빠르고 간단하게 실험하고 비교할 수 있는 Python 라이브러리
scikit-learn, XGBoost, LightGBM, CatBoost, ANN 등을 포함한 다양한 알고리즘을 한 줄 코드로 학습, 튜닝, 비교, 예측

 

멀티모달 딥러닝 아키텍처

• 탭형 데이터는 ANN에, 이미지 데이터는 전이학습 기반 CNN 모델(ResNet50, Xception, EfficientNetB2)에 입력
• ANN과 CNN의 출력 벡터를 결합(late fusion)하여 최종 분류 수행
• TensorFlow-Keras의 Functional API - CNN의 마지막 컨볼루션 층의 출력을 1차원 벡터로 변환 / ANN의 출력 벡터와 결합
• 최종 출력은 Fully Connected, Softmax layer로 다중 클래스 분류 수행

 

손실 함수 및 평가 지표

손실 함수

: Categorical CrossEntropy 사용 (다중 클래스 분류에 적합)

C: 클래스의 총 개수
ti : 정답 레이블을 one-hot encoding한 값 (정답 클래스면 1, 아니면 0)
si : 모델이 예측한 확률 (softmax의 출력값)
log⁡(si): 정답 클래스에 대한 로그 확률

정답 클래스의 확률이 높을수록 loss가 작아지고, 낮을수록 커지는 형태

평가 지표

• 정확도(Accuracy)
• 재현율(Recall)
• 정밀도(Precision)
• F1 Score