이땅콩의 공부 회고록

제목 : Federated Learning - Challenges, methods, and future directions저자 : Tian Li, Anit Kumar Sahu, Ameet Talwalkar, and Virginia Smith 이번에는 Surveys of related and current work부터 논문 리뷰 시작연합학습의 현재 연구들은 어떻게 진행되고 있을까​알다시피 연합 학습이란 각 디바이스의 privacy를 보존하는 동시에 대규모의 머신러닝을 돌리는 것.하지만 여러 한계점이 아직까지 존재하고, 이것을 해결해야하는 것에 초점을 둬야 한다.이 섹션에선 Introduction에서 소개했던 연합학습의 과제를 더 구체적으로 살펴보도록 하자.​1] Communication Efficiency..

제목 : Federated Learning - Challenges, methods, and future directions저자 : Tian Li, Anit Kumar Sahu, Ameet Talwalkar, and Virginia SmithDescription연합 학습은 데이터를 로컬로 유지하면서 휴대폰이나 병원과 같은 원격 기기 또는 사일로화된 데이터 센터에서 통계 모델을 학습하는 것입니다.이질적이고 잠재적으로 대규모일 수 있는 네트워크에서의 학습은 대규모 머신 러닝, 분산 최적화, 개인정보 보호 데이터 분석을 위한 표준 접근 방식에서 근본적으로 벗어나야 하는 새로운 과제를 야기합니다.이 글에서는 연합 학습의 고유한 특성과 과제에 대해 논의하고, 현재 접근 방식에 대한 광범위한 개요를 제공하며, 다양한..

지난번 포스팅에서 상관분석을 하는 방법을 알아봤다. 간단하게, 피어슨 상관계수를 통한 두 변수의 상관관계를 판단하는 것이다. 그렇다면 인과관계는 뭘까? 먼저 정의먼저 살펴보자.(정의) 하나의 사건(원인)이 다른 사건(결과)를 직접적으로 만들어내는 관계를 뜻하며, 단순한 상관관계를 넘어 원인과 결과가 명확히 연결되어야 한다.나는 상관관계와 인과관계의 차이를 떠올리다보면, 어느새 머릿속에 복잡해지곤 했다. 상관관계가 곧 인과관계 아닐까? 라는 의문이 들 때도 있었다. 그렇다면, 상관관계와 인과관계의 차이는 어떻게 될까?1. 상관관계 vs 인과관계사례를 보면 그나마 이해가 된다.한 연구자가 아이스크림 판매량의 연중 증감 추이를 확인했다. 그리고 연중 익사 사망자의 증감 추이를 함께 놓고 두 변인 간의 상관분..

1. Correlation(정의) 상관관계 = 두 변수가 서로 관련되어 함께 변하는 정도와 방향을 나타내는 통계적 개념. 한 변수가 변할 때 다른 변수가 어떻게 변하는지를 수치(-1과 +1 사이)로 표현하며, 1에 가까우면 양의 상관, -1에 가까우면 음의 상관, 0에 가까우면 상관관계가 거의 없음을 의미한다. 보통 이 수치는 "상관계수(Correlation Coefficient)"라고 나타낸다.주의: 하나가 다른 하나에 영향을 주는 인과관계는 절대 아니다. 둘의 관계가 서로 "상관성을 가진다"는 것이다. scatter plot으로 표현하면 이것을 직관적으로 이해할 수 있다. X축에 한 변수, Y축에 다른 변수를 설정했다고 가정하고, 두 변수 값을 산포도로 나타내보자. (1,1) 산점도: X 변수가 커질..

1. Correlation(정의) 상관관계 = 두 변수가 서로 관련되어 함께 변하는 정도와 방향을 나타내는 통계적 개념. 한 변수가 변할 때 다른 변수가 어떻게 변하는지를 수치(-1과 +1 사이)로 표현하며, 1에 가까우면 양의 상관, -1에 가까우면 음의 상관, 0에 가까우면 상관관계가 거의 없음을 의미한다. 보통 이 수치는 "상관계수(Correlation Coefficient)"라고 나타낸다.주의: 하나가 다른 하나에 영향을 주는 인과관계는 절대 아니다. 둘의 관계가 서로 "상관성을 가진다"는 것이다. scatter plot으로 표현하면 이것을 직관적으로 이해할 수 있다. X축에 한 변수, Y축에 다른 변수를 설정했다고 가정하고, 두 변수 값을 산포도로 나타내보자. (1,1) 산점도: X 변수가 커질..

DDP를 알기 전에, 먼저 DP에 대해서 알아야 한다.일단 이름에서 알 수 있듯이, 뭐 병렬적인 데이터 처리? 이런 느낌인 것 같다. DP (Data Parallel)한 프로세스에 대해서 여러 GPU를 사용하는 것.프로세스 = 실행 중인 프로그램 하나 (e.g. 웹 브라우저)쓰레드 = 프로세스 내에는 여러 개의 쓰레드가 존재, 같은 메모리를 공유 중 (e.g. UI 생성, 네트워크 요청, 자바 스크립트 등등) 큰 배치를 GPU 개수만큼 조각내서 각각의 GPU에 넘기고, 각 GPU가 순전파, 역전파를 수행한 뒤 다시 모아서 파라미터를 업데이트 나루토 식당 예시.나루토 마을에 웨이터(메인 프로세스)가 손님인 나루토(batch)를 데려온다.손님 접시를 4등분 실행 ------- (GPU0에서) batch 수를..

제목: Modeling Tabular Data using Conditional GAN저자: Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni.https://arxiv.org/abs/1907.00503 Modeling Tabular data using Conditional GANModeling the probability distribution of rows in tabular data and generating realistic synthetic data is a non-trivial task. Tabular data usually contains a mix of discrete and continuous columns. C..

책 제목: 밑바닥부터 시작하는 딥러닝저자: 사이토고키 해당 내용은 "사이토고키 - 밑바닥부터 시작하는 딥러닝"을 기반으로 하고 있으며, 이미지에 대한 출처는 이미지를 클릭하면 됩니다.이미지를 제외한 다른 출처는 글에 남기도록 하겠습니다. 앞서 퍼셉트론에 대해서 배워보았다.단층이든 2층이든 퍼셉트론이 컴퓨터를 도와줬다는 것은 사실이나, 여전히 가중치를 설정해주는 작업은 인간이 해줘야 했다.(내가 앞에서 XOR 게이트 만들어봤던 것처럼...)하지만 신경망은 이 가중치 귀찮은 문제를 해결해주는데, 인간이 직접 설정하지 않아도 스스로 가중치 값을 데이터로부터 학습한다는 것이다. 세상에.. 이제 인간은 필요 없단 말인가..?한번 보도록 하자. 퍼셉트론에서 신경망으로먼저 신경망을 그림으로 나타내면 다음과 같다.위 ..

책: 밑바닥부터 시작하는 딥러닝저자: 사이토고키 해당 내용은 "사이토고키 - 밑바닥부터 시작하는 딥러닝"을 기반으로 하고 있으며, 이미지에 대한 출처는 이미지를 클릭하면 됩니다.이미지를 제외한 다른 출처는 글에 남기도록 하겠습니다.퍼셉트론이란?퍼셉트론 (Perceptron) = 신경망의 기원이 되는 알고리즘 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력한다. 다만, 출력은 흐른다 (1) 혹은 안 흐른다(0)의 두 가지 값을 가질 수 있다.입력 = 전류, 출력 = 1 혹은 0 ('전류가 흐른다' 혹은 '전류가 안 흐른다') 퍼셉트론의 개념은 아래 블로그에 잘 나와있으니 참고. 문과생도 이해하는 딥러닝 (1) - 퍼셉트론 Perceptron퍼셉트론 Perceptron문과생도 이해하는 딥러닝 (1..

Bayesian Network란?"베이즈 네트워크" 혹은 "빌리프 네트워크" 혹은 "방향성 비순환 그래픽 모델"이라고 불리는 해당 모델은랜덤 변수의 집합과 방향성 비순환 그래프 (Directed Acyclic Graph, DAG)를 통하여 그 집합을 조건부 독립으로 표현하는 확률의 그래픽 모델이다. 예를 들어서 데이터 형태를 봤을 때, '나이'가 '몸무게'에 보통 영향이 있다고 판단하면 베이즈 네트워크는 '나이'와 '몸무게'를 node로 지정, node를 연결하는 arc를 통해 DAG를 생성한다. 즉, 변수 간의 조건부 의존성을 표현할 수 있게 된다.다른 더 구체적인 예로 들어보면 다음과 같다.스프링클러가 나오는 이벤트, 비가 오는 이벤트, 잔디가 젖은 이벤트가 있다고 하자.그리고 '잔디가 젖음'은 '..