이땅콩의 공부 회고록

제목: Data Communications and Networking [4th Edition]저자: Behrouz A.Forouzan프로토콜이전에 프로토콜 = "A set of rules for communication"이라고 했다.즉, 송신자와 수신자 사이의 통신 규약이라고 볼 수 있다.내가 중국인과 소통하기 위해선 우리끼리 영어를 쓰자는 agreement를 할 수도 있고, 아니면 내가 중국말을 쓰겠다는 agreement를 할 수도 있는 것처럼, 데이터 통신에서도 규약은 반드시 존재한다. 실제로 네트워크에선 데이터 통신이 이루어지기 위해서 송신자와 수신자 뿐만 아니라 그 중간 intermediate devices들도 같은 통신 규약을 지켜야 한다. 즉, 라우터나 스위치나 핸드폰이나 컴퓨터나 모~든 디바..

제목: Data Communications and Networking [4th Edition]저자: Behrouz A.Forouzan1. 네트워크 (Networks)네트워크란 Interconnection of a set of devices capable of communication이다.즉, 통신이 가능한 디바이스들의 상호 연관. 여기서 디바이스는 송신자 혹은 수신자 역할을 하는 host를 뜻할 수도 있고 그 호스트를 이어주는 connection device가 될 수도 있다.hosts = computer, laptop, smartphone, ...connecting devices = router, switch, modem, ... 1.1 네트워크가 만족해야 하는 criteria네트워크가 충족해야 할 특정..

제목: Data Communications and Networking [4th Edition]저자: Behrouz A.Forouzan데이터 통신 (Data Communications)우리는 communications을 할 때 어떠한 information을 공유한다. 이 information은 local 혹은 remote한 환경에서도 share가 가능하다.Data라는 단어는 information을 뜻하는데, 데이터를 생성하는 입장과 사용하는 입장이 서로 합의한 형태로 제공되는 information을 뜻한다.따라서 데이터 통신은 유선 케이블이나 무선 케이블과 같은 media를 통해 데이터를 교환하는 행위를 뜻한다. (두 장치는 하드웨어와 소프트웨어의 조합으로 구성된 통신 시스템이어야 된다는 말로 해석할 수 ..

제목: Modeling Tabular Data using Conditional GAN저자: Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni.https://arxiv.org/abs/1907.00503 Modeling Tabular data using Conditional GANModeling the probability distribution of rows in tabular data and generating realistic synthetic data is a non-trivial task. Tabular data usually contains a mix of discrete and continuous columns. C..

책 제목: 밑바닥부터 시작하는 딥러닝저자: 사이토고키 해당 내용은 "사이토고키 - 밑바닥부터 시작하는 딥러닝"을 기반으로 하고 있으며, 이미지에 대한 출처는 이미지를 클릭하면 됩니다.이미지를 제외한 다른 출처는 글에 남기도록 하겠습니다. 앞서 퍼셉트론에 대해서 배워보았다.단층이든 2층이든 퍼셉트론이 컴퓨터를 도와줬다는 것은 사실이나, 여전히 가중치를 설정해주는 작업은 인간이 해줘야 했다.(내가 앞에서 XOR 게이트 만들어봤던 것처럼...)하지만 신경망은 이 가중치 귀찮은 문제를 해결해주는데, 인간이 직접 설정하지 않아도 스스로 가중치 값을 데이터로부터 학습한다는 것이다. 세상에.. 이제 인간은 필요 없단 말인가..?한번 보도록 하자. 퍼셉트론에서 신경망으로먼저 신경망을 그림으로 나타내면 다음과 같다.위 ..

책: 밑바닥부터 시작하는 딥러닝저자: 사이토고키 해당 내용은 "사이토고키 - 밑바닥부터 시작하는 딥러닝"을 기반으로 하고 있으며, 이미지에 대한 출처는 이미지를 클릭하면 됩니다.이미지를 제외한 다른 출처는 글에 남기도록 하겠습니다.퍼셉트론이란?퍼셉트론 (Perceptron) = 신경망의 기원이 되는 알고리즘 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력한다. 다만, 출력은 흐른다 (1) 혹은 안 흐른다(0)의 두 가지 값을 가질 수 있다.입력 = 전류, 출력 = 1 혹은 0 ('전류가 흐른다' 혹은 '전류가 안 흐른다') 퍼셉트론의 개념은 아래 블로그에 잘 나와있으니 참고. 문과생도 이해하는 딥러닝 (1) - 퍼셉트론 Perceptron퍼셉트론 Perceptron문과생도 이해하는 딥러닝 (1..

제목 : Federated Learning - Challenges, methods, and future directions저자 : Tian Li, Anit Kumar Sahu, Ameet Talwalkar, and Virginia Smith 드디어 연합 학습에 관한 논문의 최종 정리.참 오래도 걸렸다.연합 학습에 대한 총정리를 해보도록 하겠다. 1] 연합 학습이 필요한 이유대규모의 엣지 컴퓨팅에서, 이질적이고 다양한 데이터들을 이용한 네트워크에서의 학습은 여러 과제를 낸다.대규모의 머신러닝 - complexity, load, ... 한계가 존재한다는 것엣지 디바이스의 컴퓨팅 성능이 향상되는 장점을 이용해야 한다는 것중앙 서버에서의 분산을 최적화 해야한다는 것디바이스로부터 온 개인정보가 포함된 데이터 보호..

제목 : Federated Learning - Challenges, methods, and future directions저자 : Tian Li, Anit Kumar Sahu, Ameet Talwalkar, and Virginia Smith​ 3] Statistical Heterogeneity통계적 이질성을 한번 들여다보도록 하자.아마,, data가 non-iid한 문제에 대해 열거를 할 것 같고, 이에 대한 해결책을 제시할 것 같다.전에 찾아보니 non-iid한 data를 iid하게 만드는 방법은 아직까지 없는 것 같다.하긴 있었으면 통계적 이질성이라는 문제도 없겠지. Modeling heterogeneous data기계 학습에는 메타 학습 및 멀티태스크 학습과 같은 방법을 통해 통계적 이질성을 모델링..

제목 : Federated Learning - Challenges, methods, and future directions저자 : Tian Li, Anit Kumar Sahu, Ameet Talwalkar, and Virginia Smith 이번에는 Surveys of related and current work부터 논문 리뷰 시작연합학습의 현재 연구들은 어떻게 진행되고 있을까​알다시피 연합 학습이란 각 디바이스의 privacy를 보존하는 동시에 대규모의 머신러닝을 돌리는 것.하지만 여러 한계점이 아직까지 존재하고, 이것을 해결해야하는 것에 초점을 둬야 한다.이 섹션에선 Introduction에서 소개했던 연합학습의 과제를 더 구체적으로 살펴보도록 하자.​1] Communication Efficiency..

제목 : Federated Learning - Challenges, methods, and future directions저자 : Tian Li, Anit Kumar Sahu, Ameet Talwalkar, and Virginia SmithDescription연합 학습은 데이터를 로컬로 유지하면서 휴대폰이나 병원과 같은 원격 기기 또는 사일로화된 데이터 센터에서 통계 모델을 학습하는 것입니다. 이질적이고 잠재적으로 대규모일 수 있는 네트워크에서의 학습은 대규모 머신 러닝, 분산 최적화, 개인정보 보호 데이터 분석을 위한 표준 접근 방식에서 근본적으로 벗어나야 하는 새로운 과제를 야기합니다. 이 글에서는 연합 학습의 고유한 특성과 과제에 대해 논의하고, 현재 접근 방식에 대한 광범위한 개요를 제공하며, 다..