프로그래밍 언어 파이썬(Python)과 관련 데이터 분석 패키지를 학습하기. 학습이 끝난 후 Titanic: Machine Learning from Disaster 경진대회에 재도전.

2주차 수업에서는 본격적으로 데이터 분석을 배우며, 크게 다음의 툴을 학습합니다.

1. 프로그래밍 언어 파이썬(Python)
2. 파이썬의 데이터 분석 패키지 판다스(Pandas)
3. 파이썬의 인공지능&머신러닝 패키지 싸이킷런(scikit-learn)
4. 머신러닝 알고리즘 의사결정나무(Decision Tree)

위 네 개의 툴을 사용하는 법을 배웠다면, 마지막으로 1 ~ 4번을 조합하여 타이타닉 경진대회에 재도전합니다. 이번에는 엑셀이 아닌 파이썬을 활용하여 상위 25% (예측 정확도 78.947%)에 도전하며, 실습이 끝난 뒤에는 강사가 경진대회 상위 5% (예측 정확도 81.818%)에 도달할 수 있는 노하우를 공유합니다.

2주차에 학습할 툴에 대한 상세 설명은 다음과 같습니다.

파이썬

파이썬(Python)은 데이터 분석과 인공지능 분야에서 가장 많이 쓰이는 프로그래밍 언어입니다. 파이썬은 고레벨 프로그래밍 언어(High-Level Programming Language)답게 매우 직관적이면서 사람이 이해하기 쉬우며, 숙련자는 물론 프로그래밍 언어를 처음 접해보는 사람도 단기간에 배울 수 있습니다.

이번 수업에서는 파이썬의 다음 기능을 배울 것입니다.

• 파이썬의 기본 연산. 덧셈, 뺄셈, 곱셈, 나눗셈, 나머지 연산자 등.
• 파이썬의 비교 연산. 등호(==)와 부등호(!=), 이상, 이하, 미만, 초과 등.
• 파이썬의 변수. 변수를 할당하는 법과 사용하는 법 등.
• 파이썬의 다양한 데이터 타입. 숫자, 문자열(텍스트), 리스트(배열) 등.
• 파이썬의 제어문과 반복문. if-else와 for 등.
• 파이썬의 함수와 그 응용 등.

판다스

판다스(Pandas)는 파이썬에서 자주 쓰이는 데이터 분석 패키지입니다. 판다스에서는 엑셀에서 사용하는 기능을 그대로 쓸 수 있는데, 엑셀에 비해서 1) 대용량 데이터를 다루는 데 적합하며 (엑셀은 데이터의 용량이 100메가만 넘어가면 느려집니다), 2) 엑셀보다 훨씬 복잡한 기능을 코드 몇 줄로 구현할 수 있습니다. 3) 또한 파이썬을 기반으로 동작하기 때문에 데이터 분석 결과를 다양한 분야에 응용할 수 있습니다. (ex: 데이터베이스에 저장하기, 웹페이지에 띄우기, 머신러닝 알고리즘에 집어넣기 등)

이번 수업에서는 판다스의 다음 기능을 배울 것입니다.

• 판다스로 분석할 데이터를 읽어오고 저장하기.
• 판다스로 데이터의 행렬(row/column) 검색하기.
• 판다스로 데이터를 색인(indexing) 하기.
• 판다스로 데이터를 통계분석 하기. (pivot_table, crosstab, etc)
• 판다스로 데이터에 새로운 컬럼을 추가하거나 기존 컬럼값을 수정하기.
• 판다스로 복잡한 기능을 구현하기. (apply)

싸이킷런 + 의사결정나무

싸이킷런(scikit-learn)은 파이썬에서 인공지능&머신러닝에 관련된 알고리즘을 하나로 묶어놓은 패키지입니다. 싸이킷런을 활용하면 알고리즘을 직접 구현할 필요 없이, 이미 만들어진 구현체를 파이썬으로 가져와 사용하면 됩니다.

이번 수업에서는 싸이킷런의 대표적인 머신러닝 알고리즘인 의사결정나무(Decision Tree)를 활용할 것이며, 크게 다음 기능을 배울 것입니다.

• 싸이킷런에서 머신러닝 알고리즘을 가져오기.
• 가져온 알고리즘에 데이터를 넣어 학습(fitting) 시키기.
• 학습이 끝난 데이터로 특정 상황을 예측(predict) 하기.
• 의사결정나무(Decision Tree)의 분석 결과를 시각화해서 보기.

캐글의 새로운 경진대회 Bike Sharing Demand 참여하기.

• 타이타닉 경진대회에 이은 Bike Sharing Demand 경진대회 에 참석.
• 데이터 분석을 통해서 인사이트를 얻을 수 있는 탐험적 데이터 분석(Exploratory Data Analysis) 배우기.
• 팀을 짠 뒤 경진대회 실습. Bike Sharing Demand 상위 25%에 도전해보기.
• 실습이 끝난 뒤 강사의 시연으로 Bike Sharing Demand 상위 10% 후반에 진입하는 노하우를 배우기.

이번 시간에는 2주차에서 학습한 내용을 바탕으로 새로운 경진대회에 참가합니다. Capital Bikeshare 라는 워싱턴 D.C. 소재의 자전거 대여 스타트업에서 제공한 데이터를 바탕으로, 2011년도와 2012년도의 시간당 자전거 대여량을 예측하는 경진대회에 참석합니다.

기존에 참여한 타이타닉 경진대회와 전혀 달라 보이지만, 우리가 이전까지 배운 지식을 이번 경진대회에서도 그대로 활용할 수 있습니다. 여기에 더불어, 3주차에서는 데이터를 분석하여 그 결과를 머신러닝 알고리즘에 적용하는 탐험적 데이터 분석(Exploratory Data Analysis, 이하 EDA)에 대해서 배웁니다. 정확하게는 다음의 데이터 분석 노하우를 배울 것입니다.

• 기존에 보유하고 있는 데이터에서 새로운 정보를 추출하는 Feature Engineering.
• 기존에 보유하고 있는 데이터에서 필요 없는 정보를 제거하는 Feature Selection.
• 비어있는 값을 제거하거나, 전체 분포와 동떨어져 있는 아웃라이어(outlier)를 제거하는 Data Cleaning.
• 캐글(Kaggle)에 제출하지 않고도 현재 구현한 예측 모델의 정확도를 측정할 방법. (Cross Validation)

또한 3주차에는 의사결정나무(Decision Tree)의 업그레이드 버전인 랜덤 포레스트(Random Forest)를 학습합니다. 이 알고리즘은 대부분 의사결정나무보다 더 좋은 성능을 보장하는 강력한 알고리즘입니다. 이 알고리즘의 원리와 사용 방법을 배우면 더 정확한 예측 모델을 구현할 수 있습니다.

이번 실습의 최종 목표는 Bike Sharing Demand 경진대회의 상위 25% 안에 드는 것입니다. 2주차에서 배운 내용과 3주차에서 새롭게 배운 내용을 조합하면 어렵지 않게 상위 25%에 도달할 수 있습니다. 실습이 끝나면 마지막으로 강사의 시연을 통해 Bike Sharing Demand 경진대회의 상위 25%, 더 나아가서 10% 후반대에 도달할 수 있는 노하우를 공유합니다.

데이터 시각화(Data Visualization)를 배운 뒤, 다시 한번 Bike Sharing Demand 경진대회에 참석하기.

• matplotlib와 Seaborn을 활용한 데이터 시각화 실습하기.
• Bike Sharing Demand 경진대회에 재도전, 상위 10%에 도전해보기.
• 실습이 끝난 뒤 강사의 시연으로 Bike Sharing Demand 상위 5%에 진입하는 노하우를 배우기.

이번 시간에는 새로운 데이터 분석 방식인 데이터 시각화(Data Visualization)를 배웁니다. 데이터 시각화 패키지는 파이썬에서 가장 많이 사용하는 matplotlib와 Seaborn을 사용하며, 히스토그램(histogram)이나 bar plot, scatter plot 등의 시각화 방법과 그 결과를 해석하는 방법을 배웁니다.

데이터 시각화를 배웠으면 3주차에 이어 다시 한번 Bike Sharing Demand 에 도전합니다. 이번 실습에는 판다스(Pandas)를 활용한 데이터 분석 노하우와 matplotlib, Seaborn을 활용한 데이터 시각화 노하우를 병행합니다. 또한 이외에도 다음의 내용을 추가로 배울 것입니다.

• 예측 모델이 잘 만들어졌는지를 정량적으로 판단할 수 있는 측정 공식. (Evaluation Metrics)
• 머신러닝 알고리즘(ex: 랜덤 포레스트)을 튜닝하여 성능을 끌어올릴 수 있는 하이퍼패러미터 튜닝. (Hyperparameter Tuning)
• 측정 공식(Evaluation Metrics)을 분석하여 이에 맞게 데이터를 수정하거나 머신러닝 모델을 개선하는 노하우.

마지막으로 4주차에는 랜덤 포레스트(Random Forest)를 넘어서서, 가장 강력한 머신러닝 알고리즘인 그래디언트 부스팅 트리(Gradient Boosting Tree)를 배웁니다. 이 알고리즘은 1) 구조화된 데이터(Structured Data)에 한하여 언제나 최고의 성능을 보장하며, 2) 현장에서도 자주 쓰이는 매우 실용적인 알고리즘입니다. 이번 수업에서는 가장 뛰어난 그래디언트 부스팅 트리의 구현체인 XGBoost와 LightGBM을 사용합니다.

이번 실습의 최종 목표는 Bike Sharing Demand 경진대회의 상위 10% 안에 드는 것입니다. 일반적으로 캐글 경진대회에서 상위 10% 안에 진입한 사람은 프로페셔널한 데이터 사이언티스트로 간주합니다. (해당 참석자에게는 캐글에서 공인하는 동메달 마크가 부여됩니다) 만일 4주차 수업에서 스스로의 힘으로 상위 10%에 도달할 수 있다면, 데이터 사이언티스트로서 충분한 재능을 보유하고 있다고 판단할 수 있습니다.

실습이 끝나면 마지막으로 강사가 간단한 시연을 통해 Bike Sharing Demand 경진대회의 상위 5% 이내에 진입할 수 있는 노하우를 공유합니다. 캐글에서는 상위 5%에 진입한 사람을 프로 중에서도 특출나게 뛰어난 데이터 사이언티스트로 간주합니다. (해당 참석자에게는 캐글에서 공인하는 은메달 마크가 부여됩니다) 입문반 수업을 통해 경진대회 상위 5%의 노하우를 습득할 수 있다면, 데이터 사이언티스트 되는 데 필요한 지식은 거의 습득했다고 가정해도 무방합니다.

마지막으로 수업이 끝난 뒤, 수강생분들이 앞으로 스스로 공부를 하는 데 도움이 될 자료를 공유합니다. 파이썬, 판다스, 인공지능&머신러닝을 추가로 공부하는 데 도움이 될 서적과 인터넷 자료를 소개하고, 다른 경진대회에 도전하고 싶은 분들을 위해 추천할만한 주요 캐글 경진대회를 소개합니다. 또한, 해당 경진대회 상위권에 도달할 수 있는 다양한 팁을 공유한 뒤 수업을 마무리합니다.

수업을 시작하기 전에, 먼저 판다스(Pandas)라고 하는 데이터 분석 툴에 친해질 필요가 있습니다. 이를 위해 강사가 판다스를 통해 구체적으로 어떻게 데이터를 다루고 정리할 수 있는지 시연하는 시간을 가질 예정입니다.

시연이 끝나면 판다스의 기본에 대해 직접 배웁니다. 판다스의 기본 구조인 Series와 DataFrame부터, 판다스에서 행렬을 접근하는 다양한 방법(loc, at, ix, etc), 데이터를 색인하고 검색하는 노하우 등에 대해 배웁니다. 학습이 끝나면 지금까지 배운 내용을 활용하여, 실제 현업에서 쓰일 법한 데이터를 받아와 수강생이 직접 데이터를 정리하는(Data Cleaning) 실습을 해보고 곁에서 강사가 조언을 해줍니다.

저번 시간에서 데이터를 다루는 법을 배웠다면, 이번 시간에서는 데이터를 판다스에서 읽어오고 저장하는 다양한 방식, 그리고 그 장단점에 대해 배웁니다.

먼저 판다스를 CSV, Excel 파일에서 불러오는 방법과, MySQL과 같은 데이터베이스에서 판다스로 직접 가져오는 노하우 등에 대해서 배웁니다. 보통 MySQL 등에서는 데이터가 여러 종류의 테이블(table)로 나뉘어져 있는데, 이를 merge, join, concat 등을 활용해 하나로 합치는 방법에 대해 배웁니다. 그리고 판다스로 정리한 데이터를 저장하는 다양한 방법(CSV, pickle, joblib)과 그 장단점에 대해 배웁니다. 마지막으로 지금까지 배운 내용을 활용하여, 실제 회사에서 일을 하는 것 처럼 수강생이 스스로 MySQL 데이터베이스에서 데이터를 직접 읽어와 정리한 후 이를 파일로 저장하는 실습을 해봅니다.

이번 시간에는 판다스의 기초를 넘어, 실전에서 판다스를 다룰 때 알아두면 좋은 다양한 팁에 대해서 배웁니다.

실전에서 데이터를 다룰 때 가장 많이 겪는 부분이자 어려운 부분은 텍스트 데이터를 다루는 것입니다. 이번 시간에는 텍스트 데이터를 판다스로 다루는 방법에 대해서 배웁니다. 또한 MySQL과 같은 테이블 데이터 외에도, JSON과 같은 계층적(hierarchical) 데이터를 판다스로 읽어오는 방법, 그 사이에 발생하는 여러 문제와 그 해결법을 다룹니다. 학습이 끝나면 3주차까지 배운 내용을 바탕으로, 현장에서 다룰만한 텍스트 데이터 등을 받아와 수강생이 스스로 정보를 뽑아내고 분석하는 실습을 해봅니다.

마지막 시간의 목표는 수강생이 현업 회사의 데이터팀에 즉시전력으로 투입 가능한지를 검토하는 것입니다.

먼저 판다스에서 대량의 데이터를 병렬로 처리하는 노하우, 대용량 데이터를 처리하면서 현재 진행상황을 실시간으로 파악할 수 있는 방법, 동일한 데이터를 처리할 때 어떻게 하면 느려지고 어떻게 하면 빨리지는지 등에 대해서 중점적으로 살펴볼 것입니다. 이 내용을 배웠다면, 마지막으로 지금까지 판다스반에서 배운 내용을 총동원하여, 실제 현업에서 다루는 데이터와 기술을 활용해 현장에 즉시전력으로 투입될 수 있는지 실습을 통해 최종 점검하는 시간을 가질 것입니다.

첫 수업에서는 딥러닝이 정확하게 어떤 알고리즘이며, 왜 현재의 인공지능 붐을 주도하게 되었는지 설명합니다.

강의에 대한 소개가 끝나면, 먼저 가장 기본적인 딥러닝 알고리즘인 Single-layer neural network 알고리즘을 배우고 이를 직접 구현해봅니다. 가장 단순한 구현 방식(ex: Random Search)부터 시작해, 가장 효과적이며 모든 딥러닝 알고리즘의 기본이 되는 Gradient Descent 알고리즘까지 직접 구현합니다.

Single-layer neural network의 원리와 구현 방법을 배웠으면, 보스턴의 부동산 관련 정보를 데이터로 정리한 Boston housing dataset 을 활용해 부동산의 집값을 예측하는 알고리즘을 Single-layer neural network로 구현합니다.

1회차에서는 Single-layer neural network를 활용해 Regression problem (우리가 예측하려는 값이 정수형이고, 그 높고 낮음을 예측하는 문제. 부동산이나 주식의 집값 예측 등)을 풀어보았습니다. 이번 회차에는 1회차에서 배운 내용을 응용하여, 예측하려는 값이 어느 분류에 속하는지를 판단하는 Classification problem (상품 카테고리 분류, 폐암의 양성/음성 여부 등)을 해결하는 Single-layer neural network를 구현합니다.

이후 우편번호의 필기체 이미지를 정리한 MNIST 데이터셋을 활용하여, 이미지에 아무런 사전 처리(preprocessing)를 거치지 않은 채 픽셀과 RGB 값만 넣으면 그 안에 그려져 있는 숫자를 스스로 인식하는 숫자 인식 알고리즘을 Single-layer neural network로 구현합니다.

Single-layer neural network는 굉장히 강력한 알고리즘이지만, 몇 가지 문제점을 가지고 있습니다. 이번 시간에서는 Single-layer neural network가 가지고 있는 가장 큰 문제점 중 하나인 XOR problem에 대해서 살펴보고, 이를 해결할 수 있는 다양한 방법, 그리고 이 방법을 활용해 Single-layer neural network에 Hidden Layer이라는 개념을 도입함으로써 알고리즘의 성능을 크게 개선한 Multi-layer neural network에 대해서 배웁니다.

이후 Multi-layer neural network를 활용하여 Single-layer neural network보다 더 강력한 이미지 인식 알고리즘을 구현해보고, 이 알고리즘을 2회 차에서 사용한 MNIST 데이터셋에 적용한 뒤 그 결과를 기존 방식과 비교합니다.

이번 시간부터는 딥러닝을 이미지에 적용하는 방법을 본격적으로 배웁니다. Multi-layer neural network를 이미지에 적용할 때 생기는 여러 가지 문제점(과다한 메모리 사용, 비효율적인 연산 등)을 살펴보고, 이 문제점을 Convolutional Layer와 Pooling Layer라는 개념을 도입하여 해결한 Convolutional neural network(이하 CNN)에 대해 배웁니다. 이후 CNN을 활용하여 MNIST 데이터셋에 적용한 뒤, 이 결과를 Multi-layer neural network와 비교합니다.

CNN을 배웠으면, 마지막으로 딥러닝을 활용한 이미지 분류의 발전사를 간략하게 살펴봅니다. CNN이라는 개념이 처음 공개되었던 1998년부터 지금까지 CNN이 어떻게 발전했는지 살펴보고, 이 과정을 통해 우리는 앞으로 무엇을 더 배워야 할지 정리합니다. CNN을 활용한 이미지 분류(Image Recognition)의 가장 기본이 되는 LeNet5(1998)부터, 딥러닝 혁명을 이끈 초기 모델인 AlexNet(2012), 이어지는 GoogLeNet(2014)과 VGGNet(2014), ResNet(2015)을 살펴보고, 마지막으로 ResNet을 더 개선한 WideResNet(2016), ResNeXt(2016), SENet(2017) 등에 대해서도 살펴봅니다.

오늘부터는 4회차에서 프리뷰한 내용을 바탕으로 CNN을 개선할 수 있는 구체적인 팁과 노하우를 하나하나 배웁니다.

먼저 우리가 지금까지 사용했던 sigmoid라는 Activation Function의 단점을 알아봅니다. sigmoid 함수의 양 끝에 도달하면 기울기(gradient)가 죽어버리는 현상, 그리고 Gradient Descent 알고리즘을 돌리면 우리가 업데이트해야 하는 weight가 지그재그로 업데이트되는 현상 등을 살펴봅니다. 이후 이 단점을 해결한 다른 대안들(tanh, ReLU, LReLU, PReLu, Leacky ReLU, ELU, Maxout, SReLU)과 그 구체적인 효과에 대해서도 배워봅니다.

이번 회차는 weight를 어떻게 초기화해야 하는지에 대해서 알아봅니다. weight는 우리가 딥러닝 알고리즘을 통해 실질적으로 구해야 하는 값이라고 볼 수 있는데, 이 weight를 올바르게 초기화한 뒤 업데이트를 시작하지 않으면 어떠한 문제가 일어나는지 간략하게 살펴봅니다.

이후 weight 초기화를 하는데 있어서 가장 중요한 요소 중 하나인 fan-in과 fan-out의 개념을 이해하고, 이 fan-in과 fan-out을 활용해 weight를 적절한 값으로 초기화할 수 있는 다양한 공식(Xavier Initialization, ReLU Initialization, etc)에 대해서 살펴봅니다. 마지막으로 위 방식과는 전혀 다른 개념으로 weight를 조정하여 딥러닝을 올바르게 학습시킬 수 있는 또 다른 알고리즘인 batch normalization에 대해 배웁니다.

오늘은 딥러닝 알고리즘을 빠르게 학습할 수 있는 Optimizer에 대해서 배웁니다. 이전까지 우리가 사용했던 알고리즘은 가장 기본적인 Optimizer인 Stochastic Gradient Descent(SGD)라고 볼 수 있습니다. 이번 시간에는 이 알고리즘에 가속도(momentum)라는 개념을 추가하는 방법, 그리고 변수(Feature)마다 학습 속도를 다르게 줌으로서 딥러닝 알고리즘이 다른 방향으로 튀지 않고 빠르게 학습하는 방법 등을 알아봅니다. 그리고 이 개념을 종합한 다양한 Optimizer(Momentum, Nesterov momentum, AdaGrad, RMSProp, Adam)에 대해 배워봅니다.

이후 여러 개의 딥러닝 모델을 섞어 씀으로써 결과적으로 딥러닝 모델의 한 층 끌어올릴 수 있는 Ensemble 방식과 그 원리에 대해 살펴보고, 이 개념을 응용하여 모델을 학습할 때마다 모델의 weight를 강제로 배제함으로써 Ensemble과 유사한 효과를 얻는 Dropout 알고리즘에 대해 배워봅니다.

마지막 수업에서는 딥러닝을 이용한 이미지 분류(Image Recognition)를 넘어서서, 우리가 찾길 원하는 이미지가 전체 이미지에 어느 부분에 있는지를 찾는 이미지 위치 탐색(Image Detection, Segmentation) 문제, 그리고 기존 데이터를 활용해 이미지를 새롭게 생성하는 이미지 생성(Image Generation) 문제에 대해 간략하게 살펴봅니다.

Image Detection 알고리즘은 우리가 찾고자 하는 이미지가 전체 이미지의 어떤 부분에 있는지를 찾는 일종의 위치 탐색 알고리즘입니다. 우선 딥러닝 이전에 쓰인 이미지 위치 검색 알고리즘과 이 알고리즘에서 발전한 Two-Stage Method(R-CNN, Fast R-CNN, Faster R-CNN, etc)에 대해서 살펴봅니다. 이후 딥러닝 이전에 쓰인 알고리즘을 배제한 체, 철저하게 딥러닝만으로 이미지의 위치를 탐색하는 One-Stage Method(YOLO, SSD, etc)를 살펴보고, One-Stage Method와 Two-Stage Method 방식의 장단점, 어떤 상황에서 어떤 알고리즘을 사용해야 하는지에 대해 배워봅니다.

Image Segmentation은 Image Detection과 유사합니다. 차이점은 Image Detection은 결과를 사각형 박스로 표현하지만, Image Segmentation은 결과를 픽셀 단위로 표현하기 때문에 더 디테일한 위치 표현이 가능합니다. 이번 시간에는 Mask R-CNN을 포함해, 딥러닝으로 구현한 다양한 Image Segmentation 알고리즘에 대해도 살펴봅니다.

마지막으로 Image Generation에서는 이미지 생성 알고리즘의 시초가 되었던 Autoencoder와 Variational Autoencoders, 그리고 2010년도 이후 가장 혁신적인 딥러닝 알고리즘이라 평가받는 GANs(Generative Adversarial Networks)의 개념과 그 원리를 살펴봅니다. 이후 GANs에서 발전한 몇몇 응용 알고리즘(DCGANs, LSGANs, Wasserstein GANs, Pro Gans, Cycle Gans, etc)을 하나하나 살펴보며 그 장단점, 어떠한 상황에서 어떤 알고리즘을 사용해야 하는지 이해합니다.