Be Brave, Be Humble

딥러닝의 역사에 ImageNet 대회 이야기가 빠질 수 없음. 따라서 ImageNet 관련 논문 중심으로 리뷰해보고자 함. 2012년 Convolution Network의 시초라 할 수 있는 AlexNet부터 최근 SOTA까지 포스팅할 예정이며, 이번 포스팅에서는 2016 ResNet까지 다룸. 모든 개념을 상세히 설명하지는 않으며, 각 논문에서 사용된 테크닉과 문제점에 기반하여 발전 흐름을 수식없이 정리한 포스팅임. (러닝 테크닉이나 추가 논문 리뷰은 꾸준히 따로 포스팅 할 예정이고 오늘은 큰 개요만 정리함.) 발전 개요를 한국사처럼 시간 순으로 정리할 것임. 왜냐하면 이전 논문에 기반하여 다음 논문의 테크닉이 발전하고 있기 때문! + 워드패드로 작성한 것을 복붙하는데.. 도대체 왜 문장별로 글씨 사이..

밀린 포스팅이 한가득인데 이렇게 또 Computer Vision Advanced 카테고리를 생성한 것이 조금 머쓱하지만.. 최근 가장 재미있게 공부 중이기도 하고, 학습한 내용을 잊지 않기 위해 제 때 정리하려고 생성했습니다. Computer Vision 카테고리에서는 Vision 분야의 기초 이론과 데이터 수집-전처리-tensorflow를 이용한 아키텍처 설계 및 구현까지의 일련의 과정을 중점으로 다룹니다.(다룰 예정입니다..ㅎㅎ) 하지만 저 정도로는 현업에서 응용이 어렵겠죠? 또, 기초를 탄탄히 하기 위해 이제는 잘 쓰지 않는 테크닉을 많이 사용하기 했구요. 그래서 ADVANCED 카테고리에서는 SOTA 논문을 리뷰하며 실제 업무에서 쓸 법한 러닝 테크닉 중점으로 포스팅 해보겠습니다.

[1] 데이터 로드 및 기본 정보 확인 In [ ]: import matplotlib import pandas as pd import matplotlib.pyplot as plt df = pd.read_csv('./kaggle_diabetes.csv') In [ ]: df.head() Out[ ]: PregnanciesGlucoseBloodPressureSkinThicknessInsulinBMIDiabetesPedigreeFunctionAgeOutcome01234 6 148 72 35 0 33.6 0.627 50 1 1 85 66 29 0 26.6 0.351 31 0 8 183 64 0 0 23.3 0.672 32 1 1 89 66 23 94 28.1 0.167 21 0 0 137 40 35 168 43..

데이터 프레임 생성 In [ ]: import pandas as pd data_dict = { 'Name' : ['John', 'Sabre', 'Kim', 'Sato', 'Lee', 'Smith', 'David'], 'Country' : ['USA', 'France', 'Korea', 'Japan', 'Korea', 'USA', 'USA'], 'Age' : [31, 33, 28, 40, 36, 55, 48], 'Job' : ['Student', 'Lawyer', 'Developer', 'Chef', 'Professor', 'CEO', 'Banker'] } df = pd.DataFrame(data_dict) df Out[ ]: NameCountryAgeJob0123456 John USA 31 Student..

binary classification의 정답 종류 2개(0 or 1) => sigmoid는 0.5 기준으로 0/1 나누므로 출력층 노드 수는 1개면 됨. multiple classification의 정답 종류 n개(0, 1, 2, ..., n) => 출력노드는 정답의 수인 n One-Hot In [ ]: import tensorflow as tf from tensorflow.keras.models import Sequential, Model from tensorflow.keras.layers import Flatten, Input, Dense from tensorflow.keras.optimizers import SGD, Adam In [ ]: import numpy as np try: loaded_d..

Sequential API In [ ]: import tensorflow as tf from tensorflow.keras.models import Sequential, Model from tensorflow.keras.layers import Input, Dense, Flatten from tensorflow.keras.optimizers import SGD import numpy as np In [ ]: # Data load data = np.loadtxt('./TF2_Example_1.csv', delimiter=',', dtype=np.float32) print(data, data.shape) [[ 1. 2. 0. -4.] [ 5. 4. 3. 4.] [ 1. 2. -1. -6.] [ 3. 1. 0..

Deep Learning과 Machine Learning의 목적은 정확도를 올리는 것이 아니라, weight와 bias의 업데이트를 통해 loss를 최소화하는 예측값을 찾는 것임. input data를 X, 가중치를 w, bias를 b라고 하면 Linear regression은 (X*w + b) 연산을 통해 예측한 Y로 loss를 산출하고 (Y-target) Logistic regression은 Z = (X*w + b)에 비선형성을 추가하기 위해 activation function으로 sigmoid를 적용하여 예측한 Y로 loss를 계산 Deep leaning은 여러 층에 걸쳐 (X*w + b)에 activation function를 적용한 후 계산된 Y로 loss 산출 CNN은 convolution 연..