분류 전체보기 (59) 썸네일형 리스트형 StyleGAN1 : A Style-Based Generator Architecture for Generative Adversarial Networks StyleGAN XL 에 대한 포스트를 작성하면서 이전에 공부했었던 StyleGAN 시리즈에 대해 정리하면 좋겠다는 생각했습니다. 앞의 포스트에서도 언급했듯이, 이 시리즈를 쭉 읽어나가면서 많은 인사이트를 얻을 수 있었습니다. :) Abstract 본 모델의 가장 핵심이 되는 컨셉은 Style Transfer의 요소를 적용했다는 것 입니다. 무엇보다 저는 제어 가능한 GAN 모델에 한 발자국 다가갔다는 점이 메리트가 있다고 생각합니다. Generator를 변경해서요! Properties of the style-based generator Style-based generator Style transfer 요소를 가져온 Style-based generator란 무엇을 의미하는 걸까요? 위의 아키텍쳐를 보면 .. StyleGAN-XL: Scaling StyleGAN to Large Diverse Datasets 이전에 계속 공부해오던 StyleGAN을 효과적으로 architecture을 재구성하는 방법이 소개되어 오랜만에 글을 쓰게 되었습니다 :) 몇개월 전 Nvidia에서 StyleGAN3를 발표했었는데, 1, 2, 3 시리즈를 계속 봐오면서 현재 나타나는 문제점을 파악하고 분석하며 이에 대한 효과적인 해결책을 제시하기까지의 과정이 정말 정교하고 체계적이라고 느꼈습니다. 그래서 StyleGAN 이라는 시리즈에 더 관심을 갖게 되네요 ㅎㅎ.. 단순히 논문에서 소개하는 지식 외에도 느끼는 점이나 얻어가는 점이 굉장히 많다고 생각합니다. (물론 이 논문이 이 시리즈에 속한다고 하기는 좀 그렇지만..) Abstract StyleGAN 모델은 이미지넷 데이터셋과 같이 크고 구조화되지 않은 데이터셋에서는 잘 작동하지 않.. What is Local Optimality in Nonconvex-Nonconcave Minimax Optimization? - 내쉬 균형의 고찰과 새로운 local minimax의 정의 GAN을 공부하면서 Minimax Game의 Nash Equilibrium에 대해 알아가고 있는 차에 Non Convex, Non Concave 상황에서의 문제는 제대로 작동하지 않을 것 같아 새로운 논문을 보다가 찾게 되었습니다. Nash Equilibrium 에 대해 "아 그냥 그렇구나" 하고 넘어갔던 부분을 세세히 집고 해당 문제점을 포괄할 수 있는 새로운 정의를 내린 논문입니다. https://arxiv.org/pdf/1902.00618.pdf Abstract 기존의 Minimax Game에 대한 연구들은 Simultaneous Game에 집중하고 있습니다. Simultaneous Game이란 Minimax Game player A, B가 동시에 행동함을 말합니다. 하지만 실제로 최적화 문제의 m.. 최적화 공부 https://colab.research.google.com/drive/1MPAECyYSNvo5JVA0AaYhsY4QW0YML1AP?usp=sharing 최적화.ipynb Colaboratory notebook colab.research.google.com 다항식 기준으로 실행한다. (Scalar) 1. Newton Method 2. Broyden Method (Quasi Newton Method) 3. SR1 (Quasi Newton Method) 신호 처리 공부 [4] 푸리에 계수 주어진 신호 \(x_{T_0}(t)\)는 Harmonics의 합이다. 이전 포스팅에서도 언급했듯이 \(x_{T_0}(t) = \sum^{\infty}_{k=\infty}a_ke^{jkw_0t}\) 입니다. 이 때 \(e^{jkw_0t}\)를 harmonics라고 하고 모든 k에 대해서 각 harmonics는 서로 직교합니다. (inner product 시 0이 나옴.) 이 성질을 이용하면 주어진 신호에 대한 harmonics의 linear combination에서의 계수를 알 수 있습니다. (여기에서 harmonics에서의 \(w_0 = 2\pi f_0\)이다. 즉, 주어진 주파수의 배수..) 푸리에 계수, 변환 이제 이 계수를 구하는 법을 알아봅시다. 주어진 신호에 임의의 sinusoid를 내적해봅시다.. 신호 처리 공부 [3] Vector와 Sinusoids 비전공자인 저는 전반적으로 혁펜하임님의 영상을 기반으로 공부합니다. https://www.youtube.com/channel/UCcbPAIfCa4q0x7x8yFXmBag 혁펜하임 신호 처리 관련 강의 영상들 오픈채팅방 링크: https://open.kakao.com/o/gupzbfDb 참여코드: 1100 www.youtube.com Fourier Series와 Vector 시리즈 하면 가장 먼저 떠오르는 게 있습니다. 바로 테일러 시리즈! 테일러 시리즈란 어떤 함수를 근사 Polynomial로 표현하겠다는 것 입니다. 푸리에 시리즈도 이와 같습니다. 기본적인 아이디어는 주기함수는 정현파(Sinusoids)의 합으로 표현 될 수 있다는 것입니다. $$ x_{T_0} = \sum^\infty_{k=\inft.. [Constrastive Learning] Momentum Contrast for Unsupervised Visual Representation Learning : MoCo v1 Constrastive Learning 이번에 처음으로 Constrastive Learning에 대해 공부하게 되었습니다. 이에 대해 천천히 복습할 겸 작성하겠습니다 :) Constrastive Learning의 동기 ImageNet처럼 방대한 데이터에 대해 학습시키다 보면, 비슷한 객체에 대한 결과의 값들을 확인했을 때 각 높은 확률 값을 가짐을 알 수 있습니다. 이게 무슨 뜻이냐면 단순한 물체, 가구 부터 동물까지 들어있는 방대한 데이터셋이 있다고 했을 때 말 사진이 들어갔을 때 얼룩말과 같은 비슷한 클래스에 대해서는 높은 확률 값을 지니고, 별로 관련 없는 대상인 의자, 책상 등에는 낮은 확률값을 갖게 됩니다. 사실 모델에 데이터를 넣을 때 class 정보는 semantic labeling이 아니라.. 신호 처리 공부 [2] LTI & Convolution 비전공자인 저는 전반적으로 혁펜하임님의 영상을 기반으로 공부합니다. https://www.youtube.com/channel/UCcbPAIfCa4q0x7x8yFXmBag LTI (Linear Time Invariant) LTI 시스템이란 말 그대로 input에 대해 Linear 하면서 Time Invariant한 output을 내놓는 시스템을 말합니다. 그렇다면 여기에서 LInear는 뭐고 Time Invariant는 뭘까요? Linear System Linear System이란 input에 대해 output이 scaling & additivity 해야합니다. 그럼 scaling은 뭐고 additivity는 뭘까요? scaling이란, input이 \(x_1(t)\)이고 이에 대한 output이 \(y_.. 이전 1 2 3 4 5 ··· 8 다음
