Generative Model (21) 썸네일형 리스트형 StyleGAN1 : A Style-Based Generator Architecture for Generative Adversarial Networks StyleGAN XL 에 대한 포스트를 작성하면서 이전에 공부했었던 StyleGAN 시리즈에 대해 정리하면 좋겠다는 생각했습니다. 앞의 포스트에서도 언급했듯이, 이 시리즈를 쭉 읽어나가면서 많은 인사이트를 얻을 수 있었습니다. :) Abstract 본 모델의 가장 핵심이 되는 컨셉은 Style Transfer의 요소를 적용했다는 것 입니다. 무엇보다 저는 제어 가능한 GAN 모델에 한 발자국 다가갔다는 점이 메리트가 있다고 생각합니다. Generator를 변경해서요! Properties of the style-based generator Style-based generator Style transfer 요소를 가져온 Style-based generator란 무엇을 의미하는 걸까요? 위의 아키텍쳐를 보면 .. StyleGAN-XL: Scaling StyleGAN to Large Diverse Datasets 이전에 계속 공부해오던 StyleGAN을 효과적으로 architecture을 재구성하는 방법이 소개되어 오랜만에 글을 쓰게 되었습니다 :) 몇개월 전 Nvidia에서 StyleGAN3를 발표했었는데, 1, 2, 3 시리즈를 계속 봐오면서 현재 나타나는 문제점을 파악하고 분석하며 이에 대한 효과적인 해결책을 제시하기까지의 과정이 정말 정교하고 체계적이라고 느꼈습니다. 그래서 StyleGAN 이라는 시리즈에 더 관심을 갖게 되네요 ㅎㅎ.. 단순히 논문에서 소개하는 지식 외에도 느끼는 점이나 얻어가는 점이 굉장히 많다고 생각합니다. (물론 이 논문이 이 시리즈에 속한다고 하기는 좀 그렇지만..) Abstract StyleGAN 모델은 이미지넷 데이터셋과 같이 크고 구조화되지 않은 데이터셋에서는 잘 작동하지 않.. Flow++ : Improving Flow-Based Generative Models with Variational Dequantization and Architecture Design - 개인적으로 배울게 많은 논문이었습니다. Abstract Flow based : efficiency에도 불구하고 autoregressive보다는 dnesity modeling 성능이 더 안좋습니다. 논문에선 이에 대한 개선 해야할 점으로 세가지를 뽑았는데, 1. Uniform noise를 통한 dequantization 2. Inexpressive affine flows 3. Convolutional conditioning network 위 세가지 사항에 대해 개선하는 방향으로 논문이 진행됩니다. Change of Variables pdf의 변수 변환 대해 다시한번 봐봅시다. 우선 한가지 fact에 기반해서 유도하게 됩니다. Fact : Differential Area는 변수치환을 하더라도 불변한다. .. Glow : Generative Flow with Invertible 1 x 1 Convolutions Abstract Flow based model은 tractability라는 특성을 가지고 있어서 굉장히 매력적이고 연구할 가치가 있습니다. 여기에서 tractability는 exact log-likelihood, exact latent variable inference에 대한 tractability를 의미합니다. 그리고 Flow based model이 메리트를 갖으면서 작동하기 위해서는 이전 NICE 논문 포스팅과 Real NVP 논문 포스팅에서 계속 언급해왔듯이 Invertible 해야하고 변수가 바뀌면서 나타나는 volume의 변화를 쉽게 구할 수 있어야 합니다. 이로 인해 Flow based model이 갖을 수 있는 메리트는 근사가 아닌 invertible transformation을 통해 exa.. Density Estimation Using Real NVP 저번 포스팅했던 NICE에 이어 Real NVP에 대한 설명을 하고자 합니다. Real NVP란 real-valued non-volume preserving transformation을 사용했단 뜻인데, NICE에서는 transformation을 적용할 때 단순 더하기로 진행했기 때문에 volume을 보존하는 성질을 지녔습니다. 이런 이슈때문에 x->z 로 가는 방향 기준 마지막에 scaling layer를 구성했습니다. 이 논문에서는 단순 더하기가 아닌 volume을 보존하지 않는 transformation을 차용했습니다. 아이디어 자체는 어렵지 않아서 구현도 그저 어렵지 않겠지라 생각했는데, 구현이 어렵더군요. 여기저기 구현된 것을 찾아보니 클래스에 대한 재귀호출로 쉽게 풀어냈긴 했더라구요. 저는 반.. NICE : Non-linear Independent Components Estimation Abstract 논문에서는 complex high-dimensional densities를 모델링 하는 NICE를 소개합니다. 주어진 데이터들에 대해서, 적당한 latent space로 보내는 non-linear deterministic tarnsformation을 학습합니다. 이러한 transformation을 jacobian의 행렬식 그리고 jacobian의 역이 유일하게 하면서 complex non-linear transformation을 갖도록 구성합니다. training criterion은 exact log-likelihood이므로 굉장히 tractable 한 것이 장점입니다. Introduction Good representation이란 뭘까요? 바로 data에 대한 distribution이 .. PixelCNN의 실행 흐름 Instruction PixelRNN은 VAE, GAN과 같이 latent를 받아서 image x를 생성하는 것들과는 다른 방법을 통해 이미지를 생성한다. 이 PixelRNN 전반적인 conditional에 대한 내용 등은 논문 및 포스트들에 잘 설명되어있다. 이 블로그에선 PixelRNN 중 하나인 PixelCNN의 구현에 대해서 정리해보고자한다. Implementation 우선 구현체에 대해 요약해서 말해보자면 Input으로 [-1, 1] 구간의 값을 갖는 Image를 받아서 output으로 input으로 들어온 image의 bit 형식에 맞게 (8비트 -> 256) 개수의 클래스를 갖도록 한다. 이는 각 픽셀, 채널 당의 값을 클래스로서 갖도록 하기 위함이다. 위 내용을 간단히 shape으로 표기하.. Generating Diverse High-Fidelity Images with VQ-VAE2 이전 포스팅 했던 VQ-VAE를 보완했던 논문인 VQ-VAE-2 에 대한 논문입니다. Abstract VQ-VAE는 compresse된 latent space에서 autoregressive 방법을 이용하여 sampling 됩니다. 논문에 따르면 이 방법이 large images의 큰 pixel space에서 샘플링 할 경우 훨씬 빠르다고 합니다. 이 논문에서 제시하는 바는 multi scale hierarchical 형태의 VQ-VAE 입니다. 계층적 구조의 VQ-VAE는 latent codes에 대해 굉장히 강력한 priors를 갖게 됩니다. 이는 quality를 굉장히 좋게 뽑아내는 GAN과 비견될 정도의 좋은 이미지를 생성하도록 해줍니다. 게다가 GAN의 단점인 mode collapse, lack .. 이전 1 2 3 다음
