Be Brave, Be Humble

[2015 최초 인간을 뛰어넘은 모델 ] Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification ResNet 저자와 완전히 순위까지 똑같음. 사실 ResNet 이전에 인간을 뛰어넘은 모델이 있었음. parametric ReLU라는 기법을 통해서 인간의 classification 능력을 뛰어넘음. 그런데 비공식이라 ResNet이 인간을 뛰어넘었다고 알려짐. AlexNet이 ReLU를 적극적으로 도입해서 표준처럼 사용하고 있는데, Dying ReLU 문제점을 개선한 모델들이 몇 개 있었음 Leaky ReLU (2014): 음수 값이 들어오면 0은 아니고 아~주 작게 0이 안 되게 만들어서 음수도 값을..

딥러닝의 역사에 ImageNet 대회 이야기가 빠질 수 없음. 따라서 ImageNet 관련 논문 중심으로 리뷰해보고자 함. 2012년 Convolution Network의 시초라 할 수 있는 AlexNet부터 최근 SOTA까지 포스팅할 예정이며, 이번 포스팅에서는 2016 ResNet까지 다룸. 모든 개념을 상세히 설명하지는 않으며, 각 논문에서 사용된 테크닉과 문제점에 기반하여 발전 흐름을 수식없이 정리한 포스팅임. (러닝 테크닉이나 추가 논문 리뷰은 꾸준히 따로 포스팅 할 예정이고 오늘은 큰 개요만 정리함.) 발전 개요를 한국사처럼 시간 순으로 정리할 것임. 왜냐하면 이전 논문에 기반하여 다음 논문의 테크닉이 발전하고 있기 때문! + 워드패드로 작성한 것을 복붙하는데.. 도대체 왜 문장별로 글씨 사이..