Others (7) 썸네일형 리스트형 What is Local Optimality in Nonconvex-Nonconcave Minimax Optimization? - 내쉬 균형의 고찰과 새로운 local minimax의 정의 GAN을 공부하면서 Minimax Game의 Nash Equilibrium에 대해 알아가고 있는 차에 Non Convex, Non Concave 상황에서의 문제는 제대로 작동하지 않을 것 같아 새로운 논문을 보다가 찾게 되었습니다. Nash Equilibrium 에 대해 "아 그냥 그렇구나" 하고 넘어갔던 부분을 세세히 집고 해당 문제점을 포괄할 수 있는 새로운 정의를 내린 논문입니다. https://arxiv.org/pdf/1902.00618.pdf Abstract 기존의 Minimax Game에 대한 연구들은 Simultaneous Game에 집중하고 있습니다. Simultaneous Game이란 Minimax Game player A, B가 동시에 행동함을 말합니다. 하지만 실제로 최적화 문제의 m.. 최적화 공부 https://colab.research.google.com/drive/1MPAECyYSNvo5JVA0AaYhsY4QW0YML1AP?usp=sharing 최적화.ipynb Colaboratory notebook colab.research.google.com 다항식 기준으로 실행한다. (Scalar) 1. Newton Method 2. Broyden Method (Quasi Newton Method) 3. SR1 (Quasi Newton Method) [논문 리뷰] SAM Optimizer : Sharpness-Aware Minimization for Efficiently Improving Generalization Abstract 오늘날 heavily overparameterized model에서, training loss의 값은 model generalization ability에 대해서 이점을 크게 주지 않는다. 이는 training loss에 대해서만 최적화를 시작하면 suboptimal model quality를 얻음을 뜻합니다. 논문에서는 loss landscape와 generalization의 connection에 영감을 받아, novel effective procedure를 제시 합니다. (SAM) SAM은 낮은 loss를 갖는 neighborhoods를 찾고, 이 계산은 minmax optimization 결과를 갖습니다. Introduction 현대 머신러닝의 발전으로, 모델들은 점점 더 무거운 o.. [논문 리뷰] : Manifold Mixup : Better Representations by Interpolating Hidden States 시작하면서.. 이전 포스트에서는 mixup에 대해 공부 했었습니다. 이번에는 이에 대한 연장선에 있다고 할 수 있는 Manifold Mixup에 대해 정리하겠습니다. Abstract Deep Neural Network는 train set과 test set이 slightly different 하면, 부정확한 결과를 내곤 합니다. 논문에서는 이에 대한 해결책으로 간단한 regularizer이며 덜 confident하게 predict 할 수 있도록 하는 Manifold Mixup을 소개합니다. Introduction Deep Neural Network는 여러 분야에서 SOTA Backbone으로 사용되고 있습니다. 하지만 deep neural network는 training set과 비슷한 instance에 .. [논문 리뷰] mixup : Beyond Empirical Risk Minimization 시작하면서.. 최근 학부연구생으로 연구실에 들어갔는데 cifar100에 대해 성능을 최대한 끌어올리는 과제를 받았습니다. 그래서 가장 보편적인 resnet부터 densnet 까지 사용해서 결과를 봐봤는데 test accuracy에 대해 75퍼를 넘기기가 힘들었습니다. 어느정도 한계를 느꼈고 paperswithcode에 가서 cifar 100 dataset에 대한 sota 모델이 뭐가있는지 봐봤습니다. 모델의 resolution, width, depth 비를 적절하게 학습하는 EfficientNet이 SOTA model인 듯 보였습니다만, 저의 눈을 사로잡았던건 바로 manifold mixup 이었습니다. manifold mixup을 공부하기 전에 mixup 논문을 읽어보았습니다. Abstract Larg.. Deep Neural Network 경량화 (Inception, Xception) 참고 강의 : PR-034: Inception and Xception Reference 참고 논문 : Going deeper with convolutions, 2014 Xception: Deep Learning with Depthwise Separable Convolutions, 2017 참고 강의 : PR-034: Inception and Xception Deep Neural Network 경량화 비슷한 수준의 성능을 유지한 채 더 적은 파라미터 수와 연산량을 가지느 모델을 만드는 것 Image recognition, object detection 분야의 급격한 발달은 하드웨어 덕이 아닌 새로운 아이디어, 알고리즘, 그리고 새로운 Network 등장의 결과입니다. 최근에는 임베디드 시스템 및 모바일에 .. [논문 리뷰] How Does Batch Normalization Help Optimization?, 2018 배치 정규화에 대한 고찰. (How Does Batch Normalization Help Optimization?, 2018) 개요 배치 정규화는 DNN 학습의 속도 향상 및 안정에 좋은 영향을 줍니다. 이와 같은 현상에 대한 이유와 널리 퍼져있는 오해에 대해 실험을 통하여 분석하고 밝혀내고자 합니다. Abstract Batch Normalization은 DNN 학습의 속도 향상 및 안정화를 가능하게 합니다. 하지만 Batch Normalization이 널리 알려저 있음에도 불구하고 오해가 널리 퍼져 있습니다. 이 논문에서 주장하는 "오해" 는 layer's input distribution의 변화를 조정함으로써 Internal Covariate Shift를 막는 다는 것 입니다. Internal Cov.. 이전 1 다음
