[논문 리뷰] DAG-WGAN에 대하여

제목: DAG-WGAN: Causal Structure Learning With Wasserstein Generative Adversarial Networks

저자: Hristo Petkov, Colin Hanley, Feng Dong

https://arxiv.org/abs/2204.00387

DAG-WGAN: Causal Structure Learning With Wasserstein Generative Adversarial Networks

---

Abstract

조합 탐색 공간(combinatiorial search)은 DAG 발견을 지원하게 됐음

combinatorial search studies search algorithms for solving instances of problems that are believed to be hard in general, by efficiently exploring the usually large solution space of these instances.
즉, 완전탐색을 포함해 유한한 크기의 탐색 공간을 뒤지면서 답을 찾아내는 알고리즘

출처: https://en.wikipedia.org/wiki/Combinatorial_search

 

하지만 생성 모델을 이용한 인과 구조 학습에 Wasserstein distance을 사용한 연구가 없었음.

따라서 Wasserstein 기반 적대적 손실과 비순환성 제약 조건을 결합한 DAG-WGAN을 제안함.

 

 

Introduction

인과 구조 학습은 Bayesian Networks가 아주 훌륭한 모델 중 하나. (가장 잘함)

하지만 인과 구조 학습과 관련된 주요 과제 중 하나는 조합적 특성에서 비롯된다.

변수의 수가 늘어나면 DAG가 기하급수적으로 증가하게 된다.

그럼에도 불구하고 나온 점수 기반 방법 (Score-based Methods, SBM)은 조합 구조 학습 접근법을 비순환성에 대한 조합 제약 조건과 함께 점수 함수의 최적화로 재구성한다.

반면 제약 조건 기반 방법 (Constraint-based Methods, CBM)은 조건부 독립성 테스트를 활용하여 종속 변수 간의 연관성을 파악하여 DAG 구조를 찾는다.

 

해당 논문의 연구는 인과 구조 학습을 위해 GAN을 사용하는 데 중점을 두고 연구를 하고 있다.

기존에 DAG-GAN이 나왔지만, GAN에 포함된 데이터 분포 메트릭이 인과 구조 학습을 용이하게 할 수 있는지 여부가 근본적인 문제이다.

따라서 해당 연구에선 표 형식의 데이터로부터 인과 구조를 학습하는 맥락에서 Wasserstein GAN(WGAN)을 이용했다.

 

DAG-WGAN은 실제 데이터와 합성 데이터 사이의 Wasserstein 거리를 측정하도록 설계된 판별자와 비순환성 제약 조건을 통합하여 자동 인코더와 WGAN-GP의 조합에 기반하고 있다.

 

 

Overview of the DAG-WGAN

DAG-WGAN은 연속형과 불연속형 데이터 유형을 모두 다룬다.

비주기성 인접 행렬을 통합하여 모델 아키텍처에 인과 구조를 포함한다.

모델의 구조는 다음과 같다.

(1) 입력 데이터의 잠재적 표현을 계산하는 오토인코더

(2) 적대적 손실로 데이터를 합성하는 비평가로 구성된 WGAN

오토인코더의 디코더는 합성 데이터를 생성하는 WGAN의 생성자로 사용된다.

인코더는 재구성 손실로 훈련되고 디코더는 재구성 손실과 적대적 손실 모두에 따라 훈련된다.

 

WGAN과 자동 인코더의 결합은 데이터와 특징 표현을 더 잘 캡처하기 위해 변형 자동 인코더(VAE)와 GAN을 결합한 성공에 모티브를 받았다.

 

 

인코더 형태

f_1은 X를 parameterize하는 

X는 m개의 variables가 d dimentions으로 있는 data sample이다

A는 m*m짜리 인접행렬이다.

 

디코더 형태

f_2는 f_1을 역변환하는 매개변수화된 함수.

f_1과 f_2는 Z와 X에 대해 선형 및 비선형 변환을 모두 수행할 수 있다.

각 변수는 가중 인접 행렬 A의 노드에 해당한다.