Generative Model (21) 썸네일형 리스트형 Subspace Diffusion Generative Models 설명 Abstract Score based model은 최근 굉장히 좋은 성능을 보이는 생성 모델입니다. 하지만 굉장히 고차원에서 훈련 및 샘플링이 진행되기 때문에 굉장히 느립니다. 이와 같이 high dimension에서 진행하기보다 subspace으로 projection하여 필요한 부분에 대해서만 sampling을 진행하게 된다면 더 좋은 효율을 보일 수 있을 것입니다. Introduction 이미지는 보통 low dimensional information이 굉장히 큰 비중을 차지하고 세밀한 부분에 대해서는 high dimensional information이 관여합니다. (SVD를 통한 이미지 분해라던지, DDPM과 같은 score based model에서의 sampling 과정을 살펴보면 알 수 있습니.. BEGAN : Boundary Equilibrium GenerativeAdversarial Networks Abstact 본 논문에서 제시하는 바는 다음과 같습니다. 1. G, D 사이의 Balance 2. Convergence Measure 3. Diversity, quality 의 조절 Proposed method 기존 GAN의 경우 Data Distribution을 Matching 하는데 중점을 두고 있습니다. 하지만 본 논문에서 제시하는 BEGAN은 AutoEncoder의 Loss distribution을 매칭합니다. 모델 자체는 저번 포스트에 언급한 EBGAN의 AutoEncoder를 차용합니다. 사실 Equilibrium term을 제외하면 EBGAN과 크게 다른점은 없습니다. Wasserstein distance lower bound for auto-encoder 위의 식과 같이, 1 or 2 W.. EBGAN : ENERGY-BASED GENERATIVE ADVERSARIAL NETWORKS 최근 다시 생성 모델 관련한 최신 논문 리딩을 하려고 여러 논문을 찾아보는 도중에 NCSN과 같은 Energy를 기반으로 한 모델이 많이 있다는 사실을 알게 됐습니다. Energy라는 말을 NCSN 할 때 잠깐 접한게 전부라서 저에게는 관련 논문들을 읽는데 어려움이 많이 있었습니다. 이러한 이유로 GAN에서 처음으로 Energy 라는 개념을 사용한 EBGAN부터 공부해서 정리하려고 합니다. ㅎㅎ,, Introduction 본 논문에서 제시하는 바는 Discriminator를 일종의 Energy Function으로 보자는 것입니다. 여기에서 Energy Function이란, 데이터를 받았을 때 해당 데이터가 Data Manifold에 가까우면 낮은 값을 내놓고 Data Manifold에서 멀다면 높은 값을.. NCSN : Generative Modeling by Estimating Gradients of the Data Distribution 리뷰 (1) 구현 코드 : https://github.com/yhy258/NCSN_pytorch GitHub - yhy258/NCSN_pytorch: Notebook Notebook. Contribute to yhy258/NCSN_pytorch development by creating an account on GitHub. github.com ipynb 형식.. 얼마전부터 paperswithcode 를 들어가서 image generation 성능 순위를 보면 Score matching based model이 꼭 상위권에 있어서 자꾸 눈에 밟히더라구요.. 그래서 언젠가 꼭 한번 읽어야지 읽어야지 하다가 이제야 읽어보게 됐습니다. DDPM하고 비슷한 method이더라구요. DDPM 논문을 보면 Langevin Dyna.. Improved Denoising Diffusion Probabilistic Models : Improved DDPM DDPM을 개선시킨 논문을 발견하게 되어 공부하게 되었습니다. DDPM에 대해 한층 더 잘 알게된 경험이었어서 꼭 한번쯤 읽어보시는걸 추천드립니다 :) Introduction 본 논문에서 제시하는 바는 3가지 입니다. 1. competitive log-likelihood 2. sampling 시 더 적은 diffusion step으로. 3. model scaling과 diffusion steps에 따라 sample quality와 log-likelihood가 어떻게 바뀌는지 이전 DDPM의 경우 image quality는 높았지만 log-likelihood 수치 자체는 그렇게 좋지 않았습니다. 이를 해결하기 위해 좀 더 나은 noise를 사용하고, 기존의 loss에 추가 term을 붙인 hybrid lo.. StyleGAN3 : Alias-Free Generative Adversarial Networks (2) 이번엔 StyleGAN3의 실제 구현에 대해 말씀드리겠습니다. Fourier Features부터 서서히 이해하려고 해서 좀 시간이 많이 걸렸습니다 ㅜ NTK랑 연결되고 그래서 공부할게 계속 불어났네요 근데 NTK는 결국 이해하지 못했고, 그냥 무한한 width를 갖는 mlp와 동치라는 것과 Fourier Features에서는 분석 툴로서 사용됐다는 점만 짚어도 충분 했습니다. Measure 우선 이 논문의 목적에 대해 다시 환기하면, 가장 중요한 부분은 Translation Equivariance 입니다. 그래서 이에 대한 measure 또한 필요한데, PNSR을 약간 변형한 measure를 제안합니다. 위 식에서 t는 translation을 의미합니다. 그냥 말 그대로 Translation Equiva.. StyleGAN3 : Alias-Free Generative Adversarial Networks (1) 현재 기준 StyleGAN 시리즈의 마지막이네요. 다른 두 논문에 비해 훨씬 어려웠던 논문입니다. 신호처리를 잘 모르는 저에게는 힘들었던 논문 리딩이네요.. 그래도 이미지를 신호로써 바라보는 것, 평소에 알아채지 못했던 CNN에서 일어나는 이상 현상 등 배워가는 점이 많았던 시간이었습니다 :) StyleGAN3 현실에 기반해서 상식적으로 어떤 물질의 형태에는 계층적 구조가 존재합니다. 예를 들어 사람의 얼굴을 보면 얼굴이 있고 눈의 형태, 그리고 그 위에 눈알이 위치합니다. 근데 사실 GAN에서 CNN 기반으로 이미지를 생성할 때도 이런 계층적 성질을 만족하는게 자연스럽습니다. 보통 CNN으로 이미지를 만들어 낼때 서서히 upsampling 하게 되는데 처음에는 전체적인 얼굴의 형태, 마지막 층으로 갈 .. StyleGAN2 : Analyzing and Improving the Image Quality of StyleGAN StyleGAN1 모델이 소개된 이후 NVIDIA에서 해당 모델의 여러 문제점을 발견하고 보완한 결과를 제시한 논문입니다 :0 Abstract 기존의 StyleGAN 모델은 확실히 좋은 성능을 보였지만 여러 문제점들이 발견되었습니다. 본 논문에서는 이러한 문제점들을 characteristic artifacts, 혹은 artifacts라고 부릅니다. 이러한 artifacts 들을 해결하기 위해서 train하는 방법과 architecture 자체에 대한 수정을 통해 보완한 결과를 제시합니다. Introduction 이전에 제시되었던 StyleGAN 모델을 통해 생성된 이미지에는 약간 이상한 부분이 발견되곤 했습니다. 첫번째로 생성된 이미지에 물방울과 같은 얼룩이 생긴다는 점(blob-like artifact.. 이전 1 2 3 다음
