Generative Model (21) 썸네일형 리스트형 Neural Discrete Representation Learning : VQ-VAE Abstract VQ-VAE와 기존 VAE와는 다른 점이 두가지 존재합니다. Encoder Network의 output이 discrete하다. 그리고 prior는 정적이기 보단, discrete representation을 학습한다. Vector Quantization을 사용한다. 이를 사용해보니 Posterior Collapse가 완화되었다. Introduction 이 논문에서의 논점은 maximum likelihood에 대해 optimize하면서 latent space에서 data의 중요한 features를 보존하는 것입니다. 이 말을 보면 무슨 말인지 이해가 안갈 수 있습니다. 그렇다면 포스트를 한번 쭉 읽어보고 다시 이 문장을 봐보면 이해가 갈 것입니다. 여기에서 중요한 점은 discrete하고 .. Variational Auto Encoder를 이해해보자! (3) 이 포스트는 http://paulrubenstein.co.uk/variational-autoencoders-are-not-autoencoders/ 블로그를 보고 이해한 바 대로 작성한 글 입니다. 개인적인 생각으로 이 포스트에서 수식적으로 풀어나가는 방법을 통해 견해를 더 넓힐 수 있다고 생각이 들었습니다. VAE의 학습 불안정성 간혹 우리는 매우 강력한 decoder로 훈련을 하게 됩니다. 이때 매우 강력한 decoder로 훈련을 하게 된다면 model이 주어진 latent variable에 대한 정보를 무시하는 경우가 발생합니다. 이를 Failure mode라고 합니다. 하지만 이 경우 ELBO에 관한 Score 자체는 좋게 나옵니다. 이 상황을 통해 알 수 있는 점이 하나 존재합니다. 저희의 본질.. Variational Auto Encoder를 이해해보자! (2) 저번 포스트에서는 전체적인 상황, 그리고 이를 위한 solution에 대해서 알아보고 Reparameterization에 대한 이유에 대해서도 알아보았습니다. (AEVB) 이번에는 논문에서 제시된 Example : Variational Auto-Encoder에 대해 알아보겠습니다. Example : Variational Auto-Encoder 더보기 사견 autoencoder 형식이다. 간단하게 말하면 sample x를 통해 mean과 var를 만들고 이 정보를 통해 latent z 를 샘플링 한 후 다시 x를 만들어낸다. 여기에서 주목해야할 점은 "무작위성"이다. x -> z로 보낸다. 하지만 여기에서의 z는 어느정도의 무작위성을 갖는다. mean + std * normal 형태로 만들어지니까.. 자연.. Variational Auto Encoder를 이해해보자! (1) Abstract 이 논문에서 제시하는 contributions는 두가지로 볼 수 있는데, 첫번째로는, Variational lower bound의 reparametrization. (standard stochastic gradent method). 이는 차후에 Likelihood-ratio Gradient 와 관련하여 알기 쉽게 수식적으로 풀어나가보도록 하겠습니다. 두번째로는 lower bound estimator 를 통해서 data point당 연속적인 잠재변수를 갖는 i.i.d datasets에서의 posterior를 효과적으로 fitting 가능하다는 것입니다. 보통 알려져있는 VAE는 생성 모델로서 존재하는데, 이와 관련지어 설명하자면 i.i.d datasets의 datapoint 당 연속적인 잠.. Denoising Diffusion Probabilistic Model : DDPM 이 논문은 개인적으로 굉장히 어려웠다. 그래도 수식적으로 이어나가다 보니 이해가 되긴 하였고, 이 지식을 복습하고자 작성한다. Abstract 이 논문에서는 nonequilibrium thermodynamics로부터 고안된 잠재 변수 모델 중 하나인 diffusion probabilistic models를 제안한다. 이 diffusion probabilistic model은 high quality image synthesis를 수행 할 수 있다. 이 논문에서는 diffusion probabilistic model과 Langevin dynamics의 denoising score에 적절한 connection을 사용한다. Introduciton 요약 간단히 결론부터 설명하면 DDPM은 주어진 이미지에 time.. 이전 1 2 3 다음
