이땅콩의 공부 회고록

제목: Modeling Tabular Data using Conditional GAN저자: Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni.https://arxiv.org/abs/1907.00503 Modeling Tabular data using Conditional GANModeling the probability distribution of rows in tabular data and generating realistic synthetic data is a non-trivial task. Tabular data usually contains a mix of discrete and continuous columns. C..

제목 : Federated Learning - Challenges, methods, and future directions저자 : Tian Li, Anit Kumar Sahu, Ameet Talwalkar, and Virginia Smith 드디어 연합 학습에 관한 논문의 최종 정리.참 오래도 걸렸다.연합 학습에 대한 총정리를 해보도록 하겠다. 1] 연합 학습이 필요한 이유대규모의 엣지 컴퓨팅에서, 이질적이고 다양한 데이터들을 이용한 네트워크에서의 학습은 여러 과제를 낸다.대규모의 머신러닝 - complexity, load, ... 한계가 존재한다는 것엣지 디바이스의 컴퓨팅 성능이 향상되는 장점을 이용해야 한다는 것중앙 서버에서의 분산을 최적화 해야한다는 것디바이스로부터 온 개인정보가 포함된 데이터 보호..

제목 : Federated Learning - Challenges, methods, and future directions저자 : Tian Li, Anit Kumar Sahu, Ameet Talwalkar, and Virginia Smith​ 3] Statistical Heterogeneity통계적 이질성을 한번 들여다보도록 하자.아마,, data가 non-iid한 문제에 대해 열거를 할 것 같고, 이에 대한 해결책을 제시할 것 같다.전에 찾아보니 non-iid한 data를 iid하게 만드는 방법은 아직까지 없는 것 같다.하긴 있었으면 통계적 이질성이라는 문제도 없겠지. Modeling heterogeneous data기계 학습에는 메타 학습 및 멀티태스크 학습과 같은 방법을 통해 통계적 이질성을 모델링..

제목 : Federated Learning - Challenges, methods, and future directions저자 : Tian Li, Anit Kumar Sahu, Ameet Talwalkar, and Virginia Smith 이번에는 Surveys of related and current work부터 논문 리뷰 시작연합학습의 현재 연구들은 어떻게 진행되고 있을까​알다시피 연합 학습이란 각 디바이스의 privacy를 보존하는 동시에 대규모의 머신러닝을 돌리는 것.하지만 여러 한계점이 아직까지 존재하고, 이것을 해결해야하는 것에 초점을 둬야 한다.이 섹션에선 Introduction에서 소개했던 연합학습의 과제를 더 구체적으로 살펴보도록 하자.​1] Communication Efficiency..

제목 : Federated Learning - Challenges, methods, and future directions저자 : Tian Li, Anit Kumar Sahu, Ameet Talwalkar, and Virginia SmithDescription연합 학습은 데이터를 로컬로 유지하면서 휴대폰이나 병원과 같은 원격 기기 또는 사일로화된 데이터 센터에서 통계 모델을 학습하는 것입니다. 이질적이고 잠재적으로 대규모일 수 있는 네트워크에서의 학습은 대규모 머신 러닝, 분산 최적화, 개인정보 보호 데이터 분석을 위한 표준 접근 방식에서 근본적으로 벗어나야 하는 새로운 과제를 야기합니다. 이 글에서는 연합 학습의 고유한 특성과 과제에 대해 논의하고, 현재 접근 방식에 대한 광범위한 개요를 제공하며, 다..