Be Brave, Be Humble

[2015 최초 인간을 뛰어넘은 모델 ] Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification ResNet 저자와 완전히 순위까지 똑같음. 사실 ResNet 이전에 인간을 뛰어넘은 모델이 있었음. parametric ReLU라는 기법을 통해서 인간의 classification 능력을 뛰어넘음. 그런데 비공식이라 ResNet이 인간을 뛰어넘었다고 알려짐. AlexNet이 ReLU를 적극적으로 도입해서 표준처럼 사용하고 있는데, Dying ReLU 문제점을 개선한 모델들이 몇 개 있었음 Leaky ReLU (2014): 음수 값이 들어오면 0은 아니고 아~주 작게 0이 안 되게 만들어서 음수도 값을..

딥러닝의 역사에 ImageNet 대회 이야기가 빠질 수 없음. 따라서 ImageNet 관련 논문 중심으로 리뷰해보고자 함. 2012년 Convolution Network의 시초라 할 수 있는 AlexNet부터 최근 SOTA까지 포스팅할 예정이며, 이번 포스팅에서는 2016 ResNet까지 다룸. 모든 개념을 상세히 설명하지는 않으며, 각 논문에서 사용된 테크닉과 문제점에 기반하여 발전 흐름을 수식없이 정리한 포스팅임. (러닝 테크닉이나 추가 논문 리뷰은 꾸준히 따로 포스팅 할 예정이고 오늘은 큰 개요만 정리함.) 발전 개요를 한국사처럼 시간 순으로 정리할 것임. 왜냐하면 이전 논문에 기반하여 다음 논문의 테크닉이 발전하고 있기 때문! + 워드패드로 작성한 것을 복붙하는데.. 도대체 왜 문장별로 글씨 사이..

밀린 포스팅이 한가득인데 이렇게 또 Computer Vision Advanced 카테고리를 생성한 것이 조금 머쓱하지만.. 최근 가장 재미있게 공부 중이기도 하고, 학습한 내용을 잊지 않기 위해 제 때 정리하려고 생성했습니다. Computer Vision 카테고리에서는 Vision 분야의 기초 이론과 데이터 수집-전처리-tensorflow를 이용한 아키텍처 설계 및 구현까지의 일련의 과정을 중점으로 다룹니다.(다룰 예정입니다..ㅎㅎ) 하지만 저 정도로는 현업에서 응용이 어렵겠죠? 또, 기초를 탄탄히 하기 위해 이제는 잘 쓰지 않는 테크닉을 많이 사용하기 했구요. 그래서 ADVANCED 카테고리에서는 SOTA 논문을 리뷰하며 실제 업무에서 쓸 법한 러닝 테크닉 중점으로 포스팅 해보겠습니다.

https://github.com/FulISun/AI_ML-DL_Intermediate/blob/main/machine_learning/04_knn.ipynb scikit-learn을 이용한 k 최근접 이웃 개요 knn 알고리즘은 입력된 새로운 데이터와 가장 비슷한 k개 학습데이터를 찾아서 그 데이터의 평균이나 투표 결과를 결과값으로 되돌려주는 알고리즘 => k개 주변의 평균값! 따라서 k가 작을수록 데이터에 민감하게 반응함 (아래 예시에서 확인 할 것) 분류 문제인 경우 위 그림처럼 가장 가까운 데이터를 찾고 많은 쪽에 속하도록 분류 회귀문제인 경우 가까운 데이터의 타겟 평균값이 결과가 됨 In [66]: import numpy as np import matplotlib.pyplot as plt imp..

https://github.com/FulISun/AI_ML-DL_Intermediate/blob/main/machine_learning/03_kmeans_pca.ipynb In [21]: import numpy as np import matplotlib.pyplot as plt from matplotlib.colors import ListedColormap import pandas as pd cm2 = ListedColormap(['C1', 'C2']) cm3 = ListedColormap(['C1', 'C2', 'C3']) scikit-learn을 이용한 K-means 클러스터링 주어진 데이터를 k개 집단으로 군집하는 방법 데이터가 집단을 이룬다고 할 때 그 집단의 중심점을 찾음 처음 중심점을 무작위로..

https://github.com/FulISun/AI_ML-DL_Intermediate/blob/main/sklearn/02_decision_tree.ipynb scikit-learn을 이용한 결정트리 In [ ]: import numpy as np import matplotlib.pyplot as plt from matplotlib.colors import ListedColormap import pandas as pd import graphviz from sklearn.tree import export_graphviz from imageio import imread cm2 = ListedColormap(['C1', 'C2']) cm3 = ListedColormap(['C1', 'C2', 'C3']) 개..

https://github.com/FulISun/Computer_Vision/blob/main/CNN/03_Fashion_MNIST_callbacks.ipynb Fashion MNIST Example 정확도가 잘 안나오면 하이퍼 파라미터 먼저 수정하기~ learning rate -> epoch -> architecture 순으로 수정할 것 accuracy는 그대로인데 loss만 감소하는 경우는 맞추는 값만 맞추고 틀린 값은 계속 틀려서 => decision making 필요함. 데이터 확인해서 코딩 오류 수정하거나 해당 값 삭제 해야함 ex) 정답 = [ 1, 2, 3, 4 ] 예측1 = [ 1, 2, 3, 3 ] 예측2 = [ 1, 2, 3, 10 ] 인 경우 둘 다 정확도는 0.75지만 loss가 예..