분류 전체보기 (60) 썸네일형 리스트형 [미국 유학] 미국 박사 유학 동기 본 글은 제가 미국 유학 중 번아웃이나 힘든 시기를 마주했을때 되돌아보기 위한 글입니다.제가 어떤 마음으로 유학에 도전하게 되었는지를 기록하고 싶었습니다 Background저는 2024년 12월 University of California, Irvine (UCI)에 accept되고 2025년 9월 출국하였습니다. 부끄러운 말이지만, 미국이라는 환경 자체에 적응하지 못하고 1주일 만에 휴학 후 리턴하게 되었습니다. 그렇게 리턴하게 된 이유는 두가지입니다1. 저에게는 주거 환경의 퀄리티가 매우 중요한데, 룸메의 생활 방식이나, 청결도 등이 저와 너무 맞지 않아 1차적으로 충격을 받았습니다2. 저에게 소중한 사람들과 10년 이상의 인생 동반자였던 우리집 강아지가 지구 반바퀴 만큼 떨어져있다는 사실 자체가 너.. Subspace Diffusion Generative Models 설명 Abstract Score based model은 최근 굉장히 좋은 성능을 보이는 생성 모델입니다. 하지만 굉장히 고차원에서 훈련 및 샘플링이 진행되기 때문에 굉장히 느립니다. 이와 같이 high dimension에서 진행하기보다 subspace으로 projection하여 필요한 부분에 대해서만 sampling을 진행하게 된다면 더 좋은 효율을 보일 수 있을 것입니다. Introduction 이미지는 보통 low dimensional information이 굉장히 큰 비중을 차지하고 세밀한 부분에 대해서는 high dimensional information이 관여합니다. (SVD를 통한 이미지 분해라던지, DDPM과 같은 score based model에서의 sampling 과정을 살펴보면 알 수 있습니.. BEGAN : Boundary Equilibrium GenerativeAdversarial Networks Abstact 본 논문에서 제시하는 바는 다음과 같습니다. 1. G, D 사이의 Balance 2. Convergence Measure 3. Diversity, quality 의 조절 Proposed method 기존 GAN의 경우 Data Distribution을 Matching 하는데 중점을 두고 있습니다. 하지만 본 논문에서 제시하는 BEGAN은 AutoEncoder의 Loss distribution을 매칭합니다. 모델 자체는 저번 포스트에 언급한 EBGAN의 AutoEncoder를 차용합니다. 사실 Equilibrium term을 제외하면 EBGAN과 크게 다른점은 없습니다. Wasserstein distance lower bound for auto-encoder 위의 식과 같이, 1 or 2 W.. EBGAN : ENERGY-BASED GENERATIVE ADVERSARIAL NETWORKS 최근 다시 생성 모델 관련한 최신 논문 리딩을 하려고 여러 논문을 찾아보는 도중에 NCSN과 같은 Energy를 기반으로 한 모델이 많이 있다는 사실을 알게 됐습니다. Energy라는 말을 NCSN 할 때 잠깐 접한게 전부라서 저에게는 관련 논문들을 읽는데 어려움이 많이 있었습니다. 이러한 이유로 GAN에서 처음으로 Energy 라는 개념을 사용한 EBGAN부터 공부해서 정리하려고 합니다. ㅎㅎ,, Introduction 본 논문에서 제시하는 바는 Discriminator를 일종의 Energy Function으로 보자는 것입니다. 여기에서 Energy Function이란, 데이터를 받았을 때 해당 데이터가 Data Manifold에 가까우면 낮은 값을 내놓고 Data Manifold에서 멀다면 높은 값을.. NCSN : Generative Modeling by Estimating Gradients of the Data Distribution 리뷰 (1) 구현 코드 : https://github.com/yhy258/NCSN_pytorch GitHub - yhy258/NCSN_pytorch: Notebook Notebook. Contribute to yhy258/NCSN_pytorch development by creating an account on GitHub. github.com ipynb 형식.. 얼마전부터 paperswithcode 를 들어가서 image generation 성능 순위를 보면 Score matching based model이 꼭 상위권에 있어서 자꾸 눈에 밟히더라구요.. 그래서 언젠가 꼭 한번 읽어야지 읽어야지 하다가 이제야 읽어보게 됐습니다. DDPM하고 비슷한 method이더라구요. DDPM 논문을 보면 Langevin Dyna.. Improved Denoising Diffusion Probabilistic Models : Improved DDPM DDPM을 개선시킨 논문을 발견하게 되어 공부하게 되었습니다. DDPM에 대해 한층 더 잘 알게된 경험이었어서 꼭 한번쯤 읽어보시는걸 추천드립니다 :) Introduction 본 논문에서 제시하는 바는 3가지 입니다. 1. competitive log-likelihood 2. sampling 시 더 적은 diffusion step으로. 3. model scaling과 diffusion steps에 따라 sample quality와 log-likelihood가 어떻게 바뀌는지 이전 DDPM의 경우 image quality는 높았지만 log-likelihood 수치 자체는 그렇게 좋지 않았습니다. 이를 해결하기 위해 좀 더 나은 noise를 사용하고, 기존의 loss에 추가 term을 붙인 hybrid lo.. StyleGAN3 : Alias-Free Generative Adversarial Networks (2) 이번엔 StyleGAN3의 실제 구현에 대해 말씀드리겠습니다. Fourier Features부터 서서히 이해하려고 해서 좀 시간이 많이 걸렸습니다 ㅜ NTK랑 연결되고 그래서 공부할게 계속 불어났네요 근데 NTK는 결국 이해하지 못했고, 그냥 무한한 width를 갖는 mlp와 동치라는 것과 Fourier Features에서는 분석 툴로서 사용됐다는 점만 짚어도 충분 했습니다. Measure 우선 이 논문의 목적에 대해 다시 환기하면, 가장 중요한 부분은 Translation Equivariance 입니다. 그래서 이에 대한 measure 또한 필요한데, PNSR을 약간 변형한 measure를 제안합니다. 위 식에서 t는 translation을 의미합니다. 그냥 말 그대로 Translation Equiva.. StyleGAN3 : Alias-Free Generative Adversarial Networks (1) 현재 기준 StyleGAN 시리즈의 마지막이네요. 다른 두 논문에 비해 훨씬 어려웠던 논문입니다. 신호처리를 잘 모르는 저에게는 힘들었던 논문 리딩이네요.. 그래도 이미지를 신호로써 바라보는 것, 평소에 알아채지 못했던 CNN에서 일어나는 이상 현상 등 배워가는 점이 많았던 시간이었습니다 :) StyleGAN3 현실에 기반해서 상식적으로 어떤 물질의 형태에는 계층적 구조가 존재합니다. 예를 들어 사람의 얼굴을 보면 얼굴이 있고 눈의 형태, 그리고 그 위에 눈알이 위치합니다. 근데 사실 GAN에서 CNN 기반으로 이미지를 생성할 때도 이런 계층적 성질을 만족하는게 자연스럽습니다. 보통 CNN으로 이미지를 만들어 낼때 서서히 upsampling 하게 되는데 처음에는 전체적인 얼굴의 형태, 마지막 층으로 갈 .. 이전 1 2 3 4 ··· 8 다음
