프로그래밍 언어 파이썬(Python)과 관련 데이터 분석 패키지를 학습하기. 학습이 끝난 후 Titanic: Machine Learning from Disaster 경진대회에 재도전.

2주차 수업에서는 본격적으로 데이터 분석을 배우며, 크게 다음의 툴을 학습합니다.

1. 프로그래밍 언어 파이썬(Python)
2. 파이썬의 데이터 분석 패키지 판다스(Pandas)
3. 파이썬의 인공지능&머신러닝 패키지 싸이킷런(scikit-learn)
4. 머신러닝 알고리즘 의사결정나무(Decision Tree)

위 네 개의 툴을 사용하는 법을 배웠다면, 마지막으로 1 ~ 4번을 조합하여 타이타닉 경진대회에 재도전합니다. 이번에는 엑셀이 아닌 파이썬을 활용하여 상위 25% (예측 정확도 78.947%)에 도전하며, 실습이 끝난 뒤에는 강사가 경진대회 상위 5% (예측 정확도 81.818%)에 도달할 수 있는 노하우를 공유합니다.

2주차에 학습할 툴에 대한 상세 설명은 다음과 같습니다.

파이썬

파이썬(Python)은 데이터 분석과 인공지능 분야에서 가장 많이 쓰이는 프로그래밍 언어입니다. 파이썬은 고레벨 프로그래밍 언어(High-Level Programming Language)답게 매우 직관적이면서 사람이 이해하기 쉬우며, 숙련자는 물론 프로그래밍 언어를 처음 접해보는 사람도 단기간에 배울 수 있습니다.

이번 수업에서는 파이썬의 다음 기능을 배울 것입니다.

• 파이썬의 기본 연산. 덧셈, 뺄셈, 곱셈, 나눗셈, 나머지 연산자 등.
• 파이썬의 비교 연산. 등호(==)와 부등호(!=), 이상, 이하, 미만, 초과 등.
• 파이썬의 변수. 변수를 할당하는 법과 사용하는 법 등.
• 파이썬의 다양한 데이터 타입. 숫자, 문자열(텍스트), 리스트(배열) 등.
• 파이썬의 제어문과 반복문. if-else와 for 등.
• 파이썬의 함수와 그 응용 등.

판다스

판다스(Pandas)는 파이썬에서 자주 쓰이는 데이터 분석 패키지입니다. 판다스에서는 엑셀에서 사용하는 기능을 그대로 쓸 수 있는데, 엑셀에 비해서 1) 대용량 데이터를 다루는 데 적합하며 (엑셀은 데이터의 용량이 100메가만 넘어가면 느려집니다), 2) 엑셀보다 훨씬 복잡한 기능을 코드 몇 줄로 구현할 수 있습니다. 3) 또한 파이썬을 기반으로 동작하기 때문에 데이터 분석 결과를 다양한 분야에 응용할 수 있습니다. (ex: 데이터베이스에 저장하기, 웹페이지에 띄우기, 머신러닝 알고리즘에 집어넣기 등)

이번 수업에서는 판다스의 다음 기능을 배울 것입니다.

• 판다스로 분석할 데이터를 읽어오고 저장하기.
• 판다스로 데이터의 행렬(row/column) 검색하기.
• 판다스로 데이터를 색인(indexing) 하기.
• 판다스로 데이터를 통계분석 하기. (pivot_table, crosstab, etc)
• 판다스로 데이터에 새로운 컬럼을 추가하거나 기존 컬럼값을 수정하기.
• 판다스로 복잡한 기능을 구현하기. (apply)

싸이킷런 + 의사결정나무

싸이킷런(scikit-learn)은 파이썬에서 인공지능&머신러닝에 관련된 알고리즘을 하나로 묶어놓은 패키지입니다. 싸이킷런을 활용하면 알고리즘을 직접 구현할 필요 없이, 이미 만들어진 구현체를 파이썬으로 가져와 사용하면 됩니다.

이번 수업에서는 싸이킷런의 대표적인 머신러닝 알고리즘인 의사결정나무(Decision Tree)를 활용할 것이며, 크게 다음 기능을 배울 것입니다.

• 싸이킷런에서 머신러닝 알고리즘을 가져오기.
• 가져온 알고리즘에 데이터를 넣어 학습(fitting) 시키기.
• 학습이 끝난 데이터로 특정 상황을 예측(predict) 하기.
• 의사결정나무(Decision Tree)의 분석 결과를 시각화해서 보기.

캐글의 새로운 경진대회 Bike Sharing Demand 참여하기.

• 타이타닉 경진대회에 이은 Bike Sharing Demand 경진대회 에 참석.
• 데이터 분석을 통해서 인사이트를 얻을 수 있는 탐험적 데이터 분석(Exploratory Data Analysis) 배우기.
• 팀을 짠 뒤 경진대회 실습. Bike Sharing Demand 상위 25%에 도전해보기.
• 실습이 끝난 뒤 강사의 시연으로 Bike Sharing Demand 상위 10% 후반에 진입하는 노하우를 배우기.

이번 시간에는 2주차에서 학습한 내용을 바탕으로 새로운 경진대회에 참가합니다. Capital Bikeshare 라는 워싱턴 D.C. 소재의 자전거 대여 스타트업에서 제공한 데이터를 바탕으로, 2011년도와 2012년도의 시간당 자전거 대여량을 예측하는 경진대회에 참석합니다.

기존에 참여한 타이타닉 경진대회와 전혀 달라 보이지만, 우리가 이전까지 배운 지식을 이번 경진대회에서도 그대로 활용할 수 있습니다. 여기에 더불어, 3주차에서는 데이터를 분석하여 그 결과를 머신러닝 알고리즘에 적용하는 탐험적 데이터 분석(Exploratory Data Analysis, 이하 EDA)에 대해서 배웁니다. 정확하게는 다음의 데이터 분석 노하우를 배울 것입니다.

• 기존에 보유하고 있는 데이터에서 새로운 정보를 추출하는 Feature Engineering.
• 기존에 보유하고 있는 데이터에서 필요 없는 정보를 제거하는 Feature Selection.
• 비어있는 값을 제거하거나, 전체 분포와 동떨어져 있는 아웃라이어(outlier)를 제거하는 Data Cleaning.
• 캐글(Kaggle)에 제출하지 않고도 현재 구현한 예측 모델의 정확도를 측정할 방법. (Cross Validation)

또한 3주차에는 의사결정나무(Decision Tree)의 업그레이드 버전인 랜덤 포레스트(Random Forest)를 학습합니다. 이 알고리즘은 대부분 의사결정나무보다 더 좋은 성능을 보장하는 강력한 알고리즘입니다. 이 알고리즘의 원리와 사용 방법을 배우면 더 정확한 예측 모델을 구현할 수 있습니다.

이번 실습의 최종 목표는 Bike Sharing Demand 경진대회의 상위 25% 안에 드는 것입니다. 2주차에서 배운 내용과 3주차에서 새롭게 배운 내용을 조합하면 어렵지 않게 상위 25%에 도달할 수 있습니다. 실습이 끝나면 마지막으로 강사의 시연을 통해 Bike Sharing Demand 경진대회의 상위 25%, 더 나아가서 10% 후반대에 도달할 수 있는 노하우를 공유합니다.

데이터 시각화(Data Visualization)를 배운 뒤, 다시 한번 Bike Sharing Demand 경진대회에 참석하기.

• matplotlib와 Seaborn을 활용한 데이터 시각화 실습하기.
• Bike Sharing Demand 경진대회에 재도전, 상위 10%에 도전해보기.
• 실습이 끝난 뒤 강사의 시연으로 Bike Sharing Demand 상위 5%에 진입하는 노하우를 배우기.

이번 시간에는 새로운 데이터 분석 방식인 데이터 시각화(Data Visualization)를 배웁니다. 데이터 시각화 패키지는 파이썬에서 가장 많이 사용하는 matplotlib와 Seaborn을 사용하며, 히스토그램(histogram)이나 bar plot, scatter plot 등의 시각화 방법과 그 결과를 해석하는 방법을 배웁니다.

데이터 시각화를 배웠으면 3주차에 이어 다시 한번 Bike Sharing Demand 에 도전합니다. 이번 실습에는 판다스(Pandas)를 활용한 데이터 분석 노하우와 matplotlib, Seaborn을 활용한 데이터 시각화 노하우를 병행합니다. 또한 이외에도 다음의 내용을 추가로 배울 것입니다.

• 예측 모델이 잘 만들어졌는지를 정량적으로 판단할 수 있는 측정 공식. (Evaluation Metrics)
• 머신러닝 알고리즘(ex: 랜덤 포레스트)을 튜닝하여 성능을 끌어올릴 수 있는 하이퍼패러미터 튜닝. (Hyperparameter Tuning)
• 측정 공식(Evaluation Metrics)을 분석하여 이에 맞게 데이터를 수정하거나 머신러닝 모델을 개선하는 노하우.

마지막으로 4주차에는 랜덤 포레스트(Random Forest)를 넘어서서, 가장 강력한 머신러닝 알고리즘인 그래디언트 부스팅 트리(Gradient Boosting Tree)를 배웁니다. 이 알고리즘은 1) 구조화된 데이터(Structured Data)에 한하여 언제나 최고의 성능을 보장하며, 2) 현장에서도 자주 쓰이는 매우 실용적인 알고리즘입니다. 이번 수업에서는 가장 뛰어난 그래디언트 부스팅 트리의 구현체인 XGBoost와 LightGBM을 사용합니다.

이번 실습의 최종 목표는 Bike Sharing Demand 경진대회의 상위 10% 안에 드는 것입니다. 일반적으로 캐글 경진대회에서 상위 10% 안에 진입한 사람은 프로페셔널한 데이터 사이언티스트로 간주합니다. (해당 참석자에게는 캐글에서 공인하는 동메달 마크가 부여됩니다) 만일 4주차 수업에서 스스로의 힘으로 상위 10%에 도달할 수 있다면, 데이터 사이언티스트로서 충분한 재능을 보유하고 있다고 판단할 수 있습니다.

실습이 끝나면 마지막으로 강사가 간단한 시연을 통해 Bike Sharing Demand 경진대회의 상위 5% 이내에 진입할 수 있는 노하우를 공유합니다. 캐글에서는 상위 5%에 진입한 사람을 프로 중에서도 특출나게 뛰어난 데이터 사이언티스트로 간주합니다. (해당 참석자에게는 캐글에서 공인하는 은메달 마크가 부여됩니다) 입문반 수업을 통해 경진대회 상위 5%의 노하우를 습득할 수 있다면, 데이터 사이언티스트 되는 데 필요한 지식은 거의 습득했다고 가정해도 무방합니다.

마지막으로 수업이 끝난 뒤, 수강생분들이 앞으로 스스로 공부를 하는 데 도움이 될 자료를 공유합니다. 파이썬, 판다스, 인공지능&머신러닝을 추가로 공부하는 데 도움이 될 서적과 인터넷 자료를 소개하고, 다른 경진대회에 도전하고 싶은 분들을 위해 추천할만한 주요 캐글 경진대회를 소개합니다. 또한, 해당 경진대회 상위권에 도달할 수 있는 다양한 팁을 공유한 뒤 수업을 마무리합니다.

첫 수업에서는 모든 프로그래밍의 기본이 되는 프로그래밍 언어에 대해 배웁니다. 수업에서는 가장 현대적이고 대중적인 프로그래밍 언어 중 하나인 파이썬(Python)에 대해 배울 것이며, 간단한 문법과 원리를 배운 뒤 바로 파이썬을 실생활에 응용할 수 있는 간단한 문제를 풀어봅니다.

이번 수업에서 중점적으로 다루고 싶은 내용은 다음과 같습니다.

• 파이썬의 기본 연산. 덧셈, 뺄셈, 곱셈, 나눗셈, 나머지 연산자 등.
• 파이썬의 비교 연산. 등호(==)와 부등호(!=), 이상, 이하, 미만, 초과 등.
• 파이썬의 변수. 변수를 할당하는 법과 사용하는 법 등.
• 파이썬의 제어문. if-else문 활용하기.
• 파이썬의 함수와 그 응용 등.

마지막으로 프로그래밍 문법을 복습하고 이를 실생활에 응용할 수 있는 간단한 프로그래밍 과제를 함께 풀어봅니다. 이번 과제에서는 특정 상품(ex: 계란)을 구매할 때, 많이 구매하면 구매할수록 할인을 해주는 문제를 풀어볼 것입니다. 이 과정에서 배울 수 있는 것은 다음과 같습니다.

• 파이썬의 기본 수학 연산. 상품 가격과 구매량으로 매출을 계산하고, 그 과정에서 할인 조건과 각종 혜택이 들어갈 경우의 최종 가격을 산정합니다.
• 파이썬에서 분기문(if 문)을 활용하기. 분기문을 활용해서 다양한 상황에 맞춰서 할인받는 조건을 구현합니다.
• 함수로 기능을 모듈화. 할인 및 매출 계산은 반복적으로 하는 작업이기 때문에, 함수로 기능을 모듈화해서 언제든지 재활용 할 수 있도록 해야 합니다.

이번 시간에는 파이썬의 더 어려운 기능을 배워볼 것입니다. 레벨1에서 배웠던 내용을 바탕으로, 반복문과 리스트 같은 파이썬의 심화 기능을 공부하여 더 어려운 문제를 풀어보도록 하겠습니다. 이번 레벨에서 배울 내용은 다음과 같습니다.

• 파이썬의 반복문. for문을 활용하는 방법과 그 응용.
• for문과 다른 문법(ex: if문)을 섞어서 사용하기. 그리고 break와 continue 문을 사용하기.
• 파이썬에서 리스트를 활용하여 여러 개의 데이터를 하나에 담기.
• 파이썬에서 에러가 발생하는 경우, 그리고 에러가 발생했을 때, 이를 어떻게 하면 빠르고 효율적으로 해결할 수 있는지.

마지막으로 앞서 배운 프로그래밍 문법을 복습하고 이를 활용할 수 있는 간단한 프로그래밍 과제를 풀어봅니다. 이번 과제에서는 코딩 인터뷰에서 자주 나오는 문제 중 하나인 3과 5의 배수를 찾는 문제를 풀어볼 것입니다. 이 문제를 풀면서 배우고 싶은 내용은 다음과 같습니다.

• 파이썬의 더 어려운 계산법을 활용하기. 사칙연산을 넘어서서 곱셈이나 나머지 연산을 하는 등의 심화 연산을 배웁니다.
• 파이썬의 심화 문법을 활용하여 문제를 풀기. 반복문(for 문)이나 리스트 등을 사용하여 문제를 푸는 법을 배웁니다.
• 어려운 문제가 있을 때 이 문제를 한 번에 몰아서 풀지 않고, 작게 쪼개서 푸는 법을 배우기.

이번 레벨부터 본격적으로 프로그래밍 언어를 실용적으로 다루는 방법에 대해서 이야기합니다. 대부분의 초심자들이 겪는 문제는 파이썬의 문법은 생각보다 어렵지 않게 배우지만, 이를 활용해 문제를 풀거나 무언가를 만들어 내는 부분에서 큰 어려움을 겪습니다.

이는 프로그래밍 언어를 활용하여 소프트웨어를 개발하는, 즉 소프트웨어 방법론에 대한 이해가 부족해서 생기는 문제입니다. 소프트웨어 방법론에 대한 이해도가 낮으면 결국 원하는 제품을 만들 수 없고, 코딩 인터뷰에서도 빈번히 탈락하며, 내가 원하는 좋은 회사에 입사할 수 없고, 결국 같은 프로그래밍 언어를 쓰지만 남들에 비해 더 높은 연봉을 받을 수 없게 됩니다.

이번 시간부터는 지금까지 배운 내용을 바탕으로 실제 문제를 풀고 작동하는 물건을 만드는 법에 대해서 배울 것입니다. 이번 레벨에서 배우고 싶은 내용은 다음과 같습니다.

• 큰 기능을 구현해야 할 경우, 이 기능을 한 번에 몰아서 구현하지 않고 작게 쪼개서 구현하는 법을 배웁니다. 가령 앞서 풀었던 3과 5의 배수를 구하는 문제에서, 처음부터 3과 5의 배수를 동시에 구할 필요는 없습니다. 3의 배수를 먼저 구한 뒤, 그 다음 5의 배수를 구하면 됩니다.
• 구현한 기능이 지금 뿐만 아니라 장기적으로 잘 동작하도록 하기. 현재 구현한 기능이 장기적으로 동작할거라는걸 보장하지 않는다는 점은 소프트웨어 개발에서 가장 어려운 부분 중 하나입니다. 이를 위해 동작하지 않는 코드를 빠르게 발견하는 단위 테스트(unit test)를 작성하는 법을 알려드립니다.

이를 실제 배워보기 위해 간단한 프로그래밍 문제를 풀어보겠습니다. 이번에 풀어볼 문제는 레벨1의 응용으로서, 대기업 소프트웨어 직군 코딩 면접용으로 자주 나오는 문제입니다. 단순히 물건을 많이 사는 것 뿐만 아니라, 다양한 할인 옵션(1+1 구매, 2+1 구매, 특정 상품 구매시 세트 할인)을 적용하는 문제를 풀어보겠습니다. 이번 문제를 풀면서 배우고 싶은 부분은 다음과 같습니다.

• 실제 대기업 소프트웨어 직군에서 보는 코딩 인터뷰와 유사한 문제가 나왔을 때, 이 문제를 어떻게 하면 주어진 시간 내에 빠르게 풀 수 있는지 알아봅니다.
• 코딩 인터뷰에서 문제를 풀면서 초심자들이 자주 실수하는 점, 유의해야 하는 점에 대해서 설명합니다.
• 코딩 인터뷰 문제를 푸는 것을 넘어서서, 위 내용을 실제 현업에서 운영중인 소프트웨어에 적용할 때 어떤 점을 고려해야 하는지 알아봅니다.

레벨4부터는 파이썬을 활용한 실용적인 예시를 몇 개 보여드리겠습니다. 가장 먼저 보여드릴 예시는 이메일 자동 발송 시스템을 활용한 업무 자동화입니다.

회사에서 일을 하게 되면 반복적으로 이메일이나 문자 등을 발송해야 하는 상황이 자주 발생합니다. 이런 반복적인 일을 하나하나 자동화 시킬수록, 우리의 생산성은 올라가고 남는 시간에 더 중요한 일에 집중할 수 있게 됩니다.

그런 의미에서 이번 시간에는 파이썬을 활용하여 이메일을 자동 발송하는 시스템을 구축해보도록 하겠습니다. 이 과정에서 배우고 싶은 내용은 다음과 같습니다.

1. 파이썬의 확장팩에 해당하는 라이브러리(내지는 패키지)의 개념을 배우고 이를 활용하기
2. 파이썬의 기초 코딩 스킬을 활용하여, 특정 상황에 맞춰서 다른 이메일 컨텐츠를 보내는 법을 배우기

마지막으로 이를 실제 현업에 적용하기 위한 간단한 과제를 풀어볼텐데, 앞서 배운 내용을 응용하여 3~7개의 특정 상황을 가정한 뒤, 각 상황에 맞게 다른 이메일을 보내는 법을 배울 것입니다. 또한 이 과정에서 추가로 알아두면 좋은 내용들, 가령 특정 시간대에 이메일을 발송하거나, 다른 이메일 주소(ex: 네이버, 다음)로 메일을 발송하는 법도 배울 것입니다.

레벨5의 주제는 데이터 시각화입니다. 데이터를 다루다 보면 간혹 내용이 직관적이지 않아 이해하기 어려울 때도 많고, 타인에게 데이터에서 뽑은 인사이트를 설득하는데 어려움을 겪는 경우도 많습니다. 이럴 경우에 활용할 수 있는 것이 바로 데이터 시각화입니다.

데이터를 시각화해서 그림으로 보여주면 대부분은 이를 직관적으로 이해할 수 있기 때문에 타인을 설득하는 레포트나 프레젠테이션을 하는데 큰 도움이 됩니다. 다만 시각화는 자칫 잘못하면 더 난해해지거나 데이터를 잘못 이해할 수 있기 때문에 주의해야 합니다.

이번 레벨에서 배우고 싶은 주제는 다음과 같습니다.

1. 파이썬의 데이터 시각화 라이브러리 matplotlib와 seaborn을 배워보기
2. 파이썬에서 엑셀 데이터를 읽어오는 방법. 그리고 이를 쉽게 다룰 수 있는 라이브러리 pandas 배우기
3. 데이터를 시각화한 내용을 저장한 뒤 레포트나 프레젠테이션에서 활용하기

데이터 시각화를 배웠으면 이를 실제 업무에 적용하기 위한 예시를 과제로 풀어볼 것입니다. 레벨5의 주제는 코로나 바이러스 데이터를 가져온 뒤, 데이터 시각화를 통하여 분석하는 예시입니다. 코로나 바이러스의 전파 경로와 위험도에 대해서 살펴보고 이를 시각화하여 설득력있는 분석 자료를 만들어 보겠습니다.

마지막 주제는 파이썬으로 이미지 파일을 수정하는 법입니다. 이미지 파일을 정리하다 보면 그 양이 굉장히 많아서 일일이 수작업으로 수정하기 힘들 때가 많습니다. 이럴 경우에 사용하면 좋은게 바로 파이썬의 이미지 편집 툴입니다.

이번 레벨에서 배우고 싶은 주제는 다음과 같습니다.

1. 파이썬의 이미지 편집 라이브러리 활용해 이미지를 자르거나 줄이고 늘리기
2. 파이썬의 파일 검색 라이브러리를 활용해 대량의 이미지 파일을 가져오기
3. 이미지에 특정 문구나 로고 등을 집어넣기

마지막으로 풀어볼 과제는 파이썬의 이미지 편집 라이브러리를 활용해 초대장을 만드는 기능입니다. 동일한 초대장 이미지 포멧에 특정 위치에 성함과 문구를 집어넣어서 초대장을 자동으로 대량으로 생성하는 법을 배워볼 것입니다.

첫 수업에서는 데이터 분석의 기본을 배웁니다. 데이터 분석(Data Analytics)의 의미와 역할, 데이터 분석을 통해 얻을 수 있는 것을 배운 뒤, 파이썬의 데이터 분석 패키지 판다스(Pandas)를 학습합니다.

판다스(Pandas)를 사용하면 대용량의 데이터를 효율적으로 분석할 수 있고, 복잡한 분석도 파이썬을 활용해 간단하게 처리할 수 있습니다. 수업에서는 판다스의 가장 기본적인 데이터 형식인 데이터프레임(DataFrame)의 사용법부터, 데이터에서 행렬을 가져오고, 색인하고, 정렬하고, 잘못된 데이터를 정리하는 법 등을 배웁니다.

판다스(Pandas)를 배웠으면, 이번에는 프리랜서 오픈마켓 서비스 크몽(Kmong)의 데이터를 가져와서 정리하는 데이터 클리닝(Data Cleaning)을 진행한 뒤, 다음의 질문에 대해 데이터에 기반한 답을 제시합니다.

• 크몽 사용자의 웹 행동 데이터, 그리고 앱 행동 데이터를 정리하기 - 크몽의 고객들은 웹, 아이폰, 안드로이드등 다앙한 디바이스와 OS로 서비스를 이용하고 있습니다. 이 디바이스에서 쌓인 내용을 분석할 수 있도록 깔끔하게 정리한 뒤, 여러 개로 나누어진 데이터를 판다스의 merge나 concat등을 활용해 하나로 묶어주는 작업을 할 것입니다.
• 크몽 사용자들의 유입 경로, 검색 키워드를 분석하기 - 크몽의 고객들은 네이버나 페이스북 등 다양한 경로를 통해 서비스를 방문합니다. 이 사용자들이 어떤 채널(네이버, 페이스북, etc)을, 어떤 키워드나 컨텐츠를 통해 방문할는지 분석을 할 수 있다면 마케터들이 신규 광고 컨텐츠를 만들거나 검색 키워드를 늘리는데 도움을 줄 수 있을 것입니다.
• 크몽 사용자들의 구매 루트 분석하기 - 크몽의 고객들이 서비스에 유입되었다면, 무언과의 과정을 통해 컨텐츠를 살펴보고, 검토한 뒤 구매를 결정했을 것입니다. 이 과정에서 고객이 구매를 결정할 수 있었던 요소를 분석할 수 있다면, 서비스 차원에서 이를 더 강조하거나 부족한 부분을 충원한다면 고객들이 구매를 결정하는 데 도움을 줄 수 있고, 이는 서비스의 매출 증대로 이어질 수 있을 것입니다.

두 번째 수업에서는 판다스(Pandas)의 심화 기능을 다룹니다. 데이터를 정렬하거나, 그룹화하는 방법 등을 배우고, 피벗 테이블(pivot table)을 활용해 데이터를 통계분석 하는 노하우 등도 배웁니다. 마지막으로 여러 개로 나누어진 데이터를 merge, join, concat 등의 기능을 활용해 하나로 합쳐서 분석하는 노하우도 다룹니다

판다스의 심화 기능을 모두 배웠으면, 이번에는 헬스케어 스타트업 눔(Noom)의 데이터를 활용해 분석을 시작합니다. 먼저 잘못된 회원 정보(몸무게가 너무 높거나, 키가 너무 작거나)를 정리하는 데이터 클리닝(Data Cleaning)을 진행한 뒤, 다음의 질문에 대해 데이터에 기반한 답을 제시합니다.

• 눔(Noom)을 사용하는 무료 사용자들은 주로 어느 시간대에 유료 사용자로 전환하는가? (ex: 새벽, 낮, 주중, 주말) - 이 사실을 알 수 있다면, 해당 시간대에 유료 서비스 구매를 촉진하는 이메일을 보냄으로써 회사의 매출을 올릴 수 있습니다.
• 눔(Noom)을 사용하는 무료 사용자 중, 유료 사용자로 전환할 확률이 가장 높은 연령/성별은 어디인가? - 이 사실을 알 수 있다면, 해당 연령/성별에 집행하는 마케팅 예산을 늘릴 수 있습니다. (가령 30대 여성이 유료 결제 확률이 높다면, 페이스북에서 30대 여성에게 광고를 더 많이 보여줘야겠죠) 반면 정 반대의 경우에는 마케팅 예산을 줄임으로써 더 효율적인 마케팅을 할 수 있습니다. (가령 50~60대 남성은 유료 결제 확률이 낮다면, 페이스북 마케팅에서 이분들에게는 광고를 노출하지 않는 것도 좋은 방법입니다)
• 유료 사용자를 코칭하는 코치 중, 어느 코치가 가장 만족도가 높은가? - 만족도가 높은 기준은 사용자가 계속 유료 서비스를 이용하는가로 판단할 수 있습니다. 즉, 고객 이탈률(churn rate)이 가장 낮은 코치가 가장 뛰어난 코치라고 판단할 수 있습니다. 반면, 고객 이탈률(churn rate)이 높은 코치일수록 사용자가 가장 불만족스러워한다고 판단할 수 있습니다.

세 번째 수업에서는 데이터를 저장하고 처리하는 전문 프로그램인 데이터베이스(Database), 그리고 이 데이터베이스에서 데이터를 가져올 수 있는 전용 프로그래밍 언어인 SQL(Structured Query Language)에 대해 집중적으로 배웁니다.

가장 기본적인 SQL 문법인 SELECT를 통해 데이터를 가져오는 법 부터 시작해, 정렬(ORDER BY), 색인(WHERE) 등을 포함한 응용도 함께 배웁니다. 또한 여러 개의 데이터를 SQL를 활용해 하나로 합치는 JOIN에 대해서도 집중적으로 다룰 것입니다.

SQL을 다루는 법을 배웠으면, 이번에는 데이터사이언스 교육 스타트업 DS School의 마케팅 데이터와 결제 데이터를 분석합니다. 분석 목표는 어느 마케팅 채널이 가장 효율적이며, 반대로 어느 마케팅 채널이 가장 효율적이지 않은가? 입니다. 효율적인 마케팅 채널이 있다면 해당 채널에 마케팅 예산을 집중하고, 반면에 효율적이지 않은 채널이 있다면 해당 마케팅 채널에 집행한 예산을 줄일 수 있습니다. 마케팅 효율에 대한 구체적인 질문은 다음과 같습니다.

• DS School의 수강생은 어떠한 목적을 달성하기 위해 수업을 신청하였는가? - DS School 수강생의 구매 전 설문 조사를 바탕으로 이 내용을 분석할 수 있습니다. 이 분석 결과를 바탕으로 수업의 내용을 변경하거나, 난이도를 조정하거나, 수강생의 니즈에 맞는 신규 커리큘럼을 만드는 것도 가능합니다.
• DS School이 보유한 마케팅 채널 중 가장 효율이 높은 채널은 어떤 것인가? - DS School은 주로 페이스북 마케팅을 활용하는데, 이 채널당 고객 획득 비용(Customer Acquisition Cost, 이하 CAC)과 고객 생애 가치(Customer Lifetime Value, 이하 LTV)를 계산한 뒤 LTV/CAC 비율이 가장 효율적인 마케팅 채널 순으로 정렬합니다. 가장 효율이 높은 채널을 파악할 수 있다면, 이 채널에 예산을 집중하거나 이 채널이 효과가 좋은 이유를 분석해서 새로운 마케팅 채널과 컨텐츠를 생성할 수 있습니다.
• DS School의 매출 변화는 어떻게 되는가? - DS School의 강연이 가장 잘 팔리는 시기(시간, 내지는 주중/주말 등)를 파악한 뒤 그 시기에 구매를 유도하는 이메일을 발송할 수도 있고, 현재의 매출 변화량을 바탕으로 누적 매출이나 예상 매출 등을 리포트 방식으로 시각화시킬 수도 있습니다.

네 번째 수업에서는 앞서 배운 판다스와 SQL 노하우와 더불어, 데이터를 시각화한 뒤 이 결과를 바탕으로 결론을 도출하는 방법을 배웁니다.

데이터 시각화는 주어진 데이터를 직관적으로 표현할 수 있다는 장점이 있으며, 그렇기 때문에 분석 결과를 다른 사람에게 이해시키고 설득할 수 있도록 도와줍니다. 하지만 효과적이고 직관적인 데이터 시각화를 위해서는, 이를 위한 적절한 시각화 그래프나 도표를 사용해야 합니다.

이번 수업에서는 파이썬의 데이터 시각화 패키지인 seaborn이나 matplotlib등을 활용하여 데이터를 분석하고 시각화 할 수 있는 방법을 배웁니다. 이 방법을 활용하면 파이썬과 판다스, 쥬피터 노트북으로 직관적이고 편리한 시각화 대시보드를 구현할 수 있습니다.

데이터 시각화를 배웠다면, 다음으로는 국내 최대의 여성 의류 쇼핑몰 플랫폼 지그재그(ZIGZAG)의 고객 행동 패턴을 분석합니다. 이번 목표는 사용자의 액티비티를 바탕으로 고객의 니즈나 주요 여성 의류 쇼핑몰들의 특징을 분석하는 것입니다. 또한 이번 수업에서는 데이터 분석가를 위한 분석뿐만 아니라, 기획자, 마케터, 내지는 팀 내의 의사결정권자에게 데이터를 직관적으로 이해시킬 수 있는 시각화 방법을 배울 것입니다. 구체적인 분석은 다음과 같습니다.

• 고객들은 지그재그에서 어떠한 과정을 거쳐서 상품을 구매하는가 - 이러한 행동 패턴을 분석하면 고객의 구매 루트를 최적화하거나, 구매하지 않고 이탈할 사용자를 붙잡아서 매출을 증대할 수 있습니다.
• 고객들이 선호하는 여성 의류 쇼핑몰들은 어디인가? - 이 사실을 파악할 수 있으면, 고객이 서비스를 이용하는 과정 중에 (내지는 이용 후에 이메일을 통해) 쇼핑몰이나 상품을 추천한 뒤 고객에게 상품을 업셀(up sell, 추가로 구매하도록 유도)할 수 있습니다.

모든 수업이 모두 끝나면, 여태까지 분석한 컨텐츠 외의 추가 과제가 수강생들에게 제공될 것입니다.

추가 과제는 1) 지그재그 2) 크몽 데이터를 활용한 추가 과제가 주어집니다. 만일 데이터분석가로 취업하거나 이직하길 원하는 분들이 있다면, 해당 과제를 푼 뒤 이력서와 함께 제출하면 관련 자료가 각각의 스타트업으로 전달됩니다.

전달 후 스타트업 담당자분의 검토를 거쳐, 데이터분석가로서 활동할 수 있는 충분한 소질이 있다고 판단될 경우 본격적으로 면접 진행 절차를 밟게 될 것입니다.

머신러닝의 기본 개념과 탄생 과정, 그리고 머신러닝 알고리즘이 구체적으로 어디에 쓰이는지를 배우기.

• 머신러닝(Machine Learning)의 기본 개념.
• 지도학습(Supervised Learning) vs 비지도학습(Unsupervised Learning) vs 강화학습(Reinforcement Learning)
• 분류(Classification) vs 회귀(Regression)
• 정형 데이터셋(Structured Dataset) vs 비정형 데이터셋(Unstructured Dataset)
• 협업 필터링(Collaborative Filtering) 알고리즘 학습 및 구현.

첫 번째 수업에서는 머신러닝 알고리즘에 대한 기본적인 설명부터 시작합니다. 머신러닝이 어떠한 과정을 거쳐서 탄생하였는지, 그리고 주로 어떤 분야에서 쓰이는지 살펴봅니다.

그리고 머신러닝 알고리즘을 분류하는 기준인 지도학습(Supervised Learning)과 비지도학습(Unsupervised Learning), 그리고 강화학습(Reinforcement Learning)에 대해 배울 것이며, 또한 지도학습(Supervised Learning)을 나누는 또 다른 기준인 분류(Classification)과 회귀(Regression), 머신러닝 알고리즘을 다룰 수 있는 크게 두 종류의 데이터셋인 정형 데이터셋(Structured Dataset)와 비정형 데이터셋(Unstructured Dataset)도 배울 것입니다.

이후 가장 기초적인 머신러닝 알고리즘이자, 상품 추천 또는 컨텐츠 추천 엔진을 만드는데 사용하는 협업 필터링(Collaborative Filtering)에 대해서 배워볼 것입니다. 또한 이 알고리즘의 성능을 끌어올릴 수 있는 여러 옵션(Hyperparameters)에 대해 살펴보고, 마지막으로 이 알고리즘으로 가장 잘 풀 수 있는 문제를 과제로 제공받을 것입니다.

가장 기초적인 지도 학습(Supervised Learning) 모델인 선형 회귀(Linear Regression)와 로지스틱 회귀(Logistic Regression) 학습 및 구현.

• 선형 회귀(Linear Regression)의 기본 개념.
• 선형 회귀(Linear Regression) 알고리즘을 학습할 수 있는 경사하강법(Gradient Descent) 공부.
• 경사하강법(Gradient Descent)을 이해하는데 필요한 기초적인 미분과 편미분 개념 배우기.
• 선형 회귀(Linear Regression)를 분류(Classification) 문제에 활용할 수 있는 로지스틱 회귀(Logistic Regression) 공부.

두 번째 수업에서는 가장 기본적인 기계학습 알고리즘의 하나인 선형 회귀(Linear Regression)와 로지스틱 회귀(Logistic Regression)에 대해 배워볼 것입니다. 먼저 선형 회귀를 이해하기 위해서는 미분에 대한 기초적인 지식이 필요하기 때문에, 수업에서 잠시 미분(derivative)과 편미분(partial derivative)에 대한 개념을 다루고 갈 것입니다.

이후 선형 회귀(Linear Regression)와 로지스틱 회귀(Logistic Regression)에 대해 배울 것이며, 이 알고리즘을 학습하는데 기본이 되는 손실 함수(Loss Function)과 경사 하강법(Gradient Descent)에 대해서도 다룰 예정입니다.

마지막으로 이 두 알고리즘의 성능을 끌어올릴 수 있는 하이퍼패러미터(Hyperparameters)가 어떤 것이 있는지 살펴보고, 이 알고리즘으로 가장 잘 풀 수 있는 문제를 과제로 제공받을 것입니다.

의사결정나무(Decision Tree)의 알고리즘의 이론과 실제 구현을 해보기

• 의사결정나무(Decision Tree)의 기본 개념과 이론에 대한 설명.
• 의사결정나무(Decision Tree)에서 나무를 생성할 때 사용하는 지니 불순도(Gini Impurity)와 MSE(Mean Squared Error)의 원리를 이해하기.
• 의사결정나무(Decision Tree)를 실제 구현해본 뒤, 이와 관련된 문제를 직접 풀어보기.

세 번째 수업에서는 기계학습 알고리즘 중 하나인 의사결정나무(Decision Tree)에 대해 살펴볼 것입니다. 의사결정나무의 기본적인 동작 방식과, 의사결정나무 알고리즘의 핵심이 되는 지니 불순도(Gini Impurity)에 대해서 다룹니다.

이후 프로그래밍 언어 파이썬을 통해 의사결정나무를 직접 작성하고 실행해봅니다. 마지막으로 이전 수업처럼, 의사결정나무 알고리즘의 성능을 끌어올릴 수 있는 하이퍼패러미터(Hyperparameters)와, 이 알고리즘으로 가장 잘 풀 수 있는 문제를 과제로 제공받을 것입니다.

머신러닝 알고리즘의 성능을 끌어올릴 수 있는 앙상블(Ensemble) 알고리즘에 대해 공부하기.

• 앙상블(Ensemble) 알고리즘 중 하나인 배깅(Bagging, Bootstrap Aggregating)과 부스팅(Boosting)에 대해 살펴보기.
• 의사결정나무(Decision Tree) 알고리즘에 배깅(Bagging)을 적용한 랜덤 포레스트(Random Forest)에 대해 살펴보기.
• 마찬가지로, 의사결정나무(Decision Tree) 알고리즘에 부스팅(Boosting)을 적용한 그래디언트 부스팅 머신(Gradient Boosting Machine)에 대해 살펴보기.
• 그래디언트 부스팅 머신(Gradient Boosting Machine)을 실제 사용할 수 있는 다양한 구현체(ex: XGBoost, CatBoost, LightGBM)에 대해 살펴보기.

마지막 주차에서는 기존의 머신러닝 알고리즘의 성능을 끌어올릴 수 있는 앙상블(Ensemble) 알고리즘에 대해 배울 것입니다. 먼저 여러 앙상블 알고리즘 중, 가장 많이 사용하는 배깅(Bagging)과 부스팅(Boosting)에 대해 다룰 것이며, 이후 배깅(Bagging)을 의사결정나무(Decision Tree) 알고리즘에 적용한 랜덤 포레스트(Random Forest), 그리고 부스팅(Boosting)을 의사결정나무(Decision Tree) 알고리즘에 적용한 그래디언트 부스팅 머신(Gradient Boosting Machine)을 다뤄볼 것입니다.

마지막으로 가장 강력한 그래디언트 부스팅 머신(Gradient Boosting Machine)의 구현체인 XGBoost, LightGBM, CatBoost에 대해 각각 살펴볼 것이며, 마지막으로 온라인 경진대회 캐글(Kaggle)에서 이를 활용하여 전자상거래(ex: 쿠팡, 11번가) 서비스의 상품을 분류하는 Otto Group Product Classification Challenge에 참여하는 과제를 받습니다.

위 이번 경진대회에서의 목표 등수는 상위 10%입니다. 보통 캐글에서는 상위 10% 안에 든 참석자를 현장에서 당장 일할 수 있는 실력을 갖추었다고 평가하는데, 만일 스스로의 힘으로 상위 10% 안에 들 수 있다면 수업을 충분히 따라왔다고 볼 수 있고, 머신러닝에 관해서는 당장 즉시 전력으로 현장에 투입될 수 있는 실력을 갖췄다고 볼 수 있습니다.

첫 번째 수업에서는 딥러닝 알고리즘에 대한 기본적인 설명부터 시작합니다. 머신러닝과 딥러닝의 역사, 딥러닝이 본격적으로 부흥하기 시작한 2010년도 이후의 발전상황, 그리고 왜 딥러닝 알고리즘의 데이터 사이언스의 대세가 되었는지 집중적으로 다뤄봅니다. 이번 수업의 주요 주제는 다음과 같습니다.

• 딥러닝의 역사. (Perceptron, XOR Problem, AI Winter, SVM, CNN, Boltzmann Machine / Autoencoder, etc)
• 딥러닝이 스포트라이트를 받게 된 계기. (Switchboard, ImageNet Challenge, Alpha Go)
• 딥러닝이 대세가 된 이유. (Dataset, Hardware, People)
• 딥러닝 알고리즘의 기본이라고 볼 수 있는 인공신경망. (Artificial Neural Network)
• 지도 학습(Supervised Learning) vs 비지도 학습(Unsupervised Learning)
• 정형 데이터(Structured Dataset) vs 비정형 데이터(Unstructured Dataset)
• 분류(Classification) vs 회귀(Regression)
• 딥러닝이 실제 현장에 쓰이는 분야. (기계 번역, 인공지능 스피커, 자율주행 자동차 등등)

두 번째 수업에서는 딥러닝 알고리즘의 가장 기본이 되는 퍼셉트론(Perceptron) 알고리즘에 대해 알아봅니다. 퍼셉트론에 대한 개념과, 이 알고리즘의 핵심이 되는 몇몇 알고리즘들(Gradient Descent, MSE Loss)을 살펴봅니다. 마지막으로 보스턴의 부동산 관련 정보를 데이터로 정리한 Boston housing dataset 을 활용해 부동산의 집값을 예측하는 알고리즘을 퍼셉트론으로 구현합니다.

• 퍼셉트론(Perception)의 개요
• 비용 함수(Cost Function)의 개념, 가장 기본적인 비용 함수인 Mean Squared Error(MSE) Loss 살펴보기
• 미분과 도함수(Differential & Derivative)의 기본 개념. 편미분(Partial Derivatives)의 기본 개념 이해하기
• 퍼셉트론 알고리즘을 학습시키는데 필요한 경사 하강법(Gradient Descent) 알아보기
• 보스턴의 부동한 데이터(Boston housing dataset)를 활용해서, 퍼셉트론으로 집 값을 예측하기

세 번째 수업에서는 딥러닝 알고리즘을 이해하고 구현하는데 꼭 알아야 하는 개념인 벡터화(Vectorization)를 중점적으로 살펴봅니다. 벡터화의 기본이 되는 선형대수(Linear Algebra)를 간단히 살펴본 뒤, 파이썬으로 이 벡터화를 쉽게 구현할 수 있는 패키지는 넘파이(Numpy)에 대해 살펴볼 것입니다. 마지막으로 저번 수업에서 푼 보스턴 집값 예측 과제를 벡터화(Vectorization)를 통해서 푸는 법을 배웁니다.

• 선형대수(Linear Algebra)의 기본 개념. 왜 선형대수가 필요한가?
• 파이썬에서 선형대수를 연산하는 방법인 벡터화. (Vectorization)
• 벡터화를 쉽게 할 수 있는 파이썬 패키지 넘파이(Numpy)
• 넘파이 벡터화(Vectorization) 사용방법 및 예시
• 넘파이 브로드캐스팅 (Broadcasting)의 기본

네 번째 수업에서는 퍼셉트론을 회귀(Regression) 문제가 아닌 분류(Classification) 문제에 사용할 수 있는 방법을 살펴봅니다. 기존에 배운 퍼셉트론을 분류 문제에 적용하기 어려운 이유와, 이를 해결하기 위해 퍼셉트론 알고리즘을 수정하는 방법을 알아봅니다. 마지막으로 미국의 우편번호를 손글씨 이미지로 저장한 MNIST데이터셋을 활용해, 아무런 전처리도 거치지 않은 채 손글씨 이미지를 인식하고 0~9사이의 우편번호로 변환하는 이미지 인식(Image Recognition) 알고리즘을 퍼셉트론을 활용해 구현합니다.

• 분류(Classification)와 회귀(Regression) 문제 복습
• 기존의 퍼셉트론 알고리즘을 분류에 사용할 수 없는 이유
• 퍼셉트론 알고리즘을 분류에 사용하기 위해 추가해야 하는 기능들. (ex: Sigmoid, Cross-entropy Loss)
• 위 내용을 바탕으로 분류 문제를 퍼셉트론 알고리즘으로 풀기
• 이진 분류(Binary Classification) vs 다중 분류(Multi-class Classification)
• 다중 분류(Multi-class Classification)를 퍼셉트론으로 푸는 방법
• 우편번호 손글씨 이미지(MNIST)를 활용해 숫자 이미지를 인식하는 이미지 인식(Image Recognition) 알고리즘을 구현하기

다섯 번째 문제에서는 계산 그래프(Computation Graph)라는 개념에 대해서 알아봅니다. 계산 그래프는 기존에 수기로 했던 딥러닝의 편미분 유도를 아주 작은 단위로 쪼개서 푸는 개념이라고 보시면 됩니다. 이렇게 풀면 1) 편미분 유도가 이전보다 훨씬 간결해지고, 2) 계산 그래프를 확장하면 편미분을 사람이 하지 않고 프로그램 차원에서 자동화 할 수 있습니다. 이번 수업에서 다룰 내용은 다음과 같습니다.

• 계산 그래프(Computation graph)의 기본 개념
• 계산 그래프로 공식을 미분하는 방법
• 계산 그래프 예시 - sigmoid를 계산 그래프로 풀기
• 계산 그래프로 미분과 편미분을 자동화하기. (Automatic Differentiation)

기존에 배웠던 퍼셉트론(Perceptron)은 강력한 알고리즘이지만, 몇 가지 문제점을 갖고 있습니다. 이번 시간에는 퍼셉트론이 가지고 있는 가장 큰 문제점 중 하나인 XOR Problem에 대해 살펴보고, 이를 해결할 수 있는 다양한 방법, 그리고 이 방법을 활용해 퍼셉트론에 은닉층(Hidden Layer)이라는 개념을 도입해서 성능을 획기적으로 개선한 다층 퍼셉트론(Multi Layer Perceptron)에 대해서 살펴봅니다. 마지막으로 앞서 다룬 우편번호 손글씨 이미지(MNIST)를 인식하는 퍼셉트론 알고리즘을 다층 퍼셉트론으로 업그레이드 해보겠습니다.

• 퍼셉트론의 단점을 나타내는 XOR 문제(XOR Problem)
• 이 XOR 문제를 해결하는 다양한 방법(Polynomial, Kernel-trick, etc)
• 은닉층(Hidden Layer)을 추가하여 이 문제를 해결하는 다층 퍼셉트론(Multi Layer Perceptron)
• 다층 퍼셉트론을 학습하기 위해 필요한 방법 - 역전파(Backpropagation) 알고리즘
• 우편번호 손글씨 이미지(MNIST)를 인식하는 이미지 인식(Image Recognition) 알고리즘을 다층 퍼셉트론을 활용하여 업그레이드 하기.

지금까지 퍼셉트론, 다층 퍼셉트론등 많은 알고리즘을 다뤘지만, 현업에서, 그리고 실제 연구에서 이 알고리즘을 사용하기 위해서는 알고리즘의 성능을 정량적으로 측정하고 그 성능을 분석하는게 중요합니다. 이번 시간에는 구현한 딥러닝 모델의 성능을 평가하는 다양한 방법에 대해 살펴볼 것입니다. 마지막으로는 우편번호 손글씨 이미지(MNIST)로 학습한 다층 퍼셉트론의 성능을 평가하고, 이 모델을 활용하여 데이터 사이언스 경진대회 캐글(Kaggle, https://kaggle.com)에 도전하는 시간을 가져볼 것입니다.

• 데이터를 학습용(train), 검증용(valid), 테스트용(test)으로 나눠서 사용하기
• 교차 검증(Cross Validation) vs 홀드아웃 검증(Hold-out Validation)
• 과대적합(Underfitting) vs 과소적합(Overfitting)
• 측정 공식(Evaluation Metric)의 개념 설명
• 측정 공식(Evaluation Metric) vs 비용 함수(Cost Function)
• 딥러닝 모델에서 사용하는 주요 측정 공식. (Accuracy, F1 Score, Log Loss, MAE, MSE, etc)

• 데이터베이스의 기본 개념과 SQL(Structured Query Language)의 뜻.
• 데이터베이스의 기본 구조. 테이블, 행과 열, 기본키(primary key)와 외래키(foreign key) 등.
• 가장 기본적인 SQL 쿼리문(SELECT, INSERT, UPDATE, DELETE) 배우기.
• 페이스북(Facebook)의 사용자 프로필을 바탕으로 필요한 정보를 가져오는 SQL 쿼리를 작성하기.

첫 수업에서는 데이터베이스(Database)가 어떤 것인지에 대한 기본 개념을 먼저 배웁니다. MySQL, MSSQL, PostgreSQL, Oracle 등 다양한 데이터베이스 관리 시스템(Relational Database Management System, RDBMS)의 개념에 대해 배우며, 이 데이터베이스에 관련되어있는 구성원들(데이터베이스 관리자, 데이터 분석가, 운영팀, 그로쓰해커 등)의 이해관계와 그 역할에 대해 배웁니다.

이후 데이터베이스에서 데이터를 가져올 수 있는 Structured Query Language, 이하 SQL이라는 기본 개념에 대해서 배웁니다. 가장 기초적인 SQL 문법에서부터, SQL을 배우는 것이 왜 상대적으로 다른 언어를 배우는 것에 비해서 어려운지 등에 대해 배웁니다. 이후 주요 SQL 문법에 대해 배워봅니다.

• 가장 기본적인 4대 SQL 쿼리. ex: SELECT, INSERT, UPDATE, DELETE
• 데이터베이스에서 데이터를 가져오는 SELECT 문의 다양한 응용. ex: ORDER BY, LIMIT
• 특정 조건에 해당하는 데이터를 가져오기. ex: WHERE, BETWEEN, LIKE, etc
• 여러 개의 조건을 중복해서 사용하기. ex: AND, OR
• 데이터베이스에서 사용할 수 있는 기본 연산. ex: COUNT, SUM, AGV, etc

이후 지금까지 배운 내용으로 본격적인 실습을 해봅니다. 첫 실습은 페이스북(Facebook)의 사용자 정보를 활용하여, 특정 조건(ex: 봇으로 간주할 수 있는 사용자)에 해당하는 정보를 가져오는 과제를 풉니다. 이 과제를 SQL문을 활용하여 풀것이며, 1시간 정도의 실습을 진행하고, 실습에서 마저 풀지 못한 부분은 과제로 제공합니다. 과제를 모두 푼 뒤에는 강사나 조교가 온라인을 통해 피드백을 해드립니다.

• SQL 문법을 응용하는 법을 알아두면 좋은 이유.
• 여러 개의 테이블에서 데이터를 하나로 합치기
• 전자상거래나 쇼핑몰, 오픈마켓 등에서 가장 많이 사용하는 쿼리와 그 분석 방법 배우기.

두 번째 수업에서는 SQL 문법의 응용을 들어갑니다. 1주차에 배운 내용에서 조금 더 알아두면 좋은 문법과, 현장에서 가장 많이 발생하는 상황인, 여러 개의 데이터베이스 테이블을 하나로 합쳐서 분석하는 방법 등을 배웁니다. 이번 시간에 배울 주요 SQL 문법은 다음과 같습니다.

• SQL의 다양한 응용. ex: GROUP BY, HAVING, etc
• 여러 개의 테이블에서 데이터를 하나로 합치기. ex: INNER/OUTER/LEFT/RIGHT JOIN, etc
• 기타 알아두면 좋은 SQL문. ex: UNION, WITH, AS, etc

이후 지금까지 배운 내용을 바탕으로 본격적으로 실습에 들어갑니다. 2주차에서는 전자상거래 서비스 아마존(Amazon)에 있는 전체 사용자 정보, 상품, 리뷰에서 약 50만개를 추출하여 분석하는 과제를 실습합니다. 실제 전자상거래 서비스에서 일어날 수 있는 다양한 상황 (ex: 특정 상품의 평균 리뷰 점수, 이번 달 VIP 사용자 리스트업 등)에서 사용할 수 있는 SQL문을 작성하는 실습을 1시간 정도 진행합니다. 실습에서 다 풀지 못한 부분은 과제로 제공하며, 과제를 푼 뒤에는 온라인으로 제출하면 강사나 조교가 피드백을 해드립니다.

• 비전공자가 SQL을 배우고 활용하기 어려운 이유.
• SQL을 쉽게 짤 수 있는 쿼리 제너레이터(Query Generator) 소개.
• 쿼리 제너레이터를 활용하여 실제 현업에서 일어날 수 있는 상황을 해결해보기.

마지막 수업에서는 비전공자라도 SQL을 쉽게 작성할 수 있는, 일명 쿼리 제너레이터(Query Generator)를 본격적으로 배워봅니다. SQL은 다른 프로그래밍 언어(ex: 파이썬)에 비해 굉장히 예전에 만들어졌기 때문에 다소 체계적이지 않습니다. 그래서 1) SQL 문법을 잘 작성했을때는 큰 문제가 없지만, 잘 작성하지 못했을 경우 구체적으로 문법에 어떤 문제가 있는지 잘 설명해주지 않으며, 2) 구체적으로 어떤 부분에 문제가 발생했는지도 잘 알려주지 않습니다.

그래서 SQL을 편하게 짜고 싶은 분들은, SQL을 조금 더 체계적으로 작성할 수 있는 일명 쿼리 제너레이터(Query Generator)라는 것을 애용합니다. 이번 수업에서는 쿼리 제너레이터에서 구체적으로 다음의 부분을 집중적으로 배울 것입니다.

• 다양한 쿼리 제너레이터의 종류와 그 장단점
• 쿼리 제너레이터로 작성한 SQL를 바로 데이터베이스에 사용하기
• 쿼리 제너레이터를 사용하지 않은 다른 동료들과 협업하기

마지막으로 지금까지 배운 내용을 바탕으로 실습을 해보겠습니다. 이번에 다루고 싶은 데이터는 에어비엔비(Airbnb)의 호스트, 공실, 리뷰 데이터를 활용하여, 한 명의 비즈니스 분석가(Business Analyst)로서 살펴봐야 하는 주요 지표를 뽑아내는 법을 배울 것입니다. 마찬가지로 1시간 정도의 실습을 진행하며, 실습에서 다 풀지 못한 부분은 온라인으로 푼 뒤 제출하면 강사나 조교가 피드백을 해드립니다.

뛰어난 데이터 사이언티스트일수록 데이터를 완벽하게 이해할 때 까지 끊임없이 분석합니다. 첫 번째 주에는 예측 모델의 성능을 무리하게 끌어올리려 노력하기 보단, 데이터 분석과 시각화를 통해 데이터를 천천히 이해하려는 과정을 거칩니다. 파이썬의 데이터분석 패키지인 판다스(Pandas)와, 데이터시각화 패키지인 matplotlib, seaborn을 활용하여, 크게 다음의 질문에 대한 답변을 스스로 찾는 과정을 거칩니다.

• 총 몇 개의 범죄(ex: 절도, 살인)가 있으며, 가장 많이 일어나는 범죄 순으로 정렬하면 어떻게 되는가?
• 시간(Dates)을 기준으로, 가장 많이 범죄가 일어나는 시기는 언제인가? 그리고 연/월/일/시/분/초 기준으로 범죄와 가장 연관성이 높은 정보는 어떤 것인가? (정 반대로, 가장 연관성이 낮은 정보는 어떤 것인가?)
• 좌표나 주소상으로, 구체적으로 어떤 위치에서 어떤 범죄가 가장 빈번하게 발생하는가?
• 주어진 데이터는 신뢰할 수 있는가? 만일 신뢰할 수 없다면, 몇몇 신뢰할 수 없는 데이터는 어떻게 처리해야 하는가? (ex: 버리던가, 고치던가)

2주차에서는 샌프란시스코 경진대회를 더 깊게 분석합니다. 구체적으로는 다음의 내용을 중점적으로 다룰 것입니다.

• 정답(Label)을 분석합니다. 다양한 범죄 형태(ex: 절도, 살인 등)가 있는데, 각 범죄마다의 분포는 어떠한지, 발생 빈도의 차이가 있는지 분석합니다.
• 측정 공식(Evaluation Metric)을 이해합니다. San Francisco Crime Classification 경진대회에서는 log loss라는 측정 공식을 사용하는데, 이 측정 공식의 특징과, 이 공식을 San Francisco Crime Classification에 적용했을 때 발생하는 효과에 대해서 설명합니다.

위 내용을 바탕으로, 우리가 구현할 수 있는 가장 심플한 예측 모델을 구현합니다. 머신러닝 모델은 랜덤 포레스트(Random Forest), 그리고 랜덤 포레스트의 업그레이드 버전인 그래디언트 부스팅 머신(Gradient Boosting Machine)을 사용할 것이며, 가장 강력한 그래디언트 부스팅 머신의 구현체인 LightGBM을 사용할 것입니다.

이번 2주차의 목표는 1주차에 분석한 내용을 바탕으로 머신러닝 모델의 성능을 최대한 끌어올리는 것입니다. 단순히 보유한 데이터를 머신러닝 모델에 적용하는 것을 넘어서서, 보유한 데이터를 빼거나(Feature Selection), 고치거나 추가하는(Feature Extraction) 행위를 통해 머신러닝을 더 정교하게 만드는 과정을 거칩니다.

3주차에서는 분석과 시각화를 통해 데이터를 더 깊게 들어갑니다. 크게 다음의 내용을 중점적으로 다룰 것입니다.

• 시간(Dates) 데이터를 시각화한 뒤, 이 데이터를 신뢰할 수 있는지, 신뢰할 수 없다면 이를 고쳐서 머신러닝 알고리즘의 성능을 끌어올릴 수 있는지 분석합니다.
• 주소(Address) 데이터를 분석해서, 특정 장소에서 많이 발생하는 범죄가 있는지 분석합니다.

위 분석 내용을 바탕으로 예측 모델을 개선합니다. 모델에 도움이 되는 새로운 정보를 추가하거나, 정 반대로 도움이 되지 않는 필요 없는 정보를 제거하고, 사용중인 머신러닝 알고리즘을 튜닝하여 모델의 성능을 한 층 더 끌어올립니다.

이번 3주차의 목표는 San Francisco Crime Classification 경진대회의 상위 25% 안에 들어가는 것입니다. 보통 캐글에서는 데이터 사이언티스트로서 인정을 해줄 수 있느냐의 여부를 상위 25% 안에 진입했는지로 파악합니다. 이 정도 수준까지를 스스로의 힘으로 달성할 수 있는 것이 목표입니다.

경진대회 데이터에서 사용하기 가장 까다로운 컬럼 중 하나는 주소(Address)입니다. 이번 4주차에서는 주소 값을 분석하여 머신러닝 알고리즘에 집어넣는 방법을 배웁니다.

주소 값을 집어넣을 때의 문제점은, 데이터의 양도 많고(학습 데이터만 총 878,049개), 주소의 종류도 많기 때문에(총 23,228개) 용량이 너무 커서 머신러닝 모델에 집어넣을 수가 없습니다. 이를 극복하기 위해 먼저 다음의 방식으로 주소 데이터를 정리합니다.

1. 사실상 같은 주소이지만 다른 방식으로 표기되어 있는 값을 찾아 하나로 합칩니다.
2. 범죄가 자주 발생하지 않는 주소는 제거하거나 하나로 묶어줍니다.

이를 통해 총 23,228 종류의 주소를 1,483 종류까지 줄여줄 수 있습니다. 이후 주소 데이터를 효율적으로 저장하기 위해 희소 행렬(Sparse Matrix)의 저장 방식 중 하나인 Compressed Sparse Row (CSR) 행렬로 변환합니다. 이 방식을 통해 주소 데이터의 메모리 사용량을 획기적으로 줄일 수 있습니다.

마지막으로 주소 데이터를 집어넣은 머신러닝 알고리즘을 다시 한 번 튜닝합니다. 튜닝을 통해 모델의 정확도를 최대한으로 끌어올리며, 최종적으로 San Francisco Crime Classification 경진대회 상위 10% 안에 들 수 있도록 합니다. 보통 캐글 상위 10%에 드는 참석자를 현장에서 즉시전력으로 투입 가능한 인재라고 평가하는데, (참고자료 https://www.kaggle.com/progression) 마지막 주차에서 경진대회 상위 10% 안에 들 수 있다면 충분히 프로페셔널한 데이터 사이언티스트로 활동할 수 있는 인재라고 판단할 수 있습니다.

과정 소개 및 캐글(Kaggle) “Titanic: Machine Learning from Disaster” 경진대회 참여

• 강의 개요. 자기소개.
• 첫 번째 캐글 경진대회에 참석
• 엑셀(내지는 구글 스프레드시트)를 활용한 기초적인 통계분석 해보기.
• 강사의 파이썬을 활용한 데이터 분석 및 인공지능&머신러닝 알고리즘 활용 시연

DS School 데이터 사이언스 입문반의 대주제는 “데이터는 생각보다 어렵지 않으며, 누구든지 쉽게 데이터를 다룰 수 있다.”라는 것을 깨닫는 것입니다. 첫 수업에서는 엑셀을 활용하여 데이터를 분석하는데, 간단한 엑셀 공식과 피벗 테이블(Pivot Table)만으로 데이터를 분석하는 방법을 체험합니다.

이번 수업에서는 데이터 사이언티스트의 온라인 경진대회 캐글(Kaggle)에 도전합니다. 첫 번째 경진대회는 RMS 타이타닉 해상사고의 데이터를 바탕으로, 유사한 해상사고가 발생했을 경우 어떤 승객이 생존하며, 또한 어떤 승객이 사망하는지를 예측하는 경진대회입니다.

매우 어려워 보이지만, 실습에 들어가면 데이터를 분석하는 일이 굉장히 쉽고 재미있다는 것을 알 수 있습니다. 수강생분들은 먼저 엑셀에서 사칙연산을 하는 방법과 제어문(IF)과 같은 간단한 엑셀 공식, 그리고 피벗 테이블(Pivot Table)을 활용하여 데이터를 분석하는 법을 배웁니다. 이후 전통적인 데이터 분석 방법인 1) 가설 수립, 2) 가설 검증, 3) 검증된 가설로 예측. 하는 세 가지 방식을 통해 생존자와 사망자를 예측합니다.

가령 1) "여성인 경우 해상사고에서 탈출 우선순위가 높기 때문에 생존율이 높다.”는 가설을 세웠으면 (가설 수립) 2) 엑셀의 피벗 테이블(Pivot Table)로 여성일 경우의 생존율과 남성일 경우의 생존율을 비교합니다. (가설 검증), 3) 가설 검증이 완료되었으면 제어문(IF)을 활용해 a) 승객이 남성일 경우 사망했다고 예측하고, b) 여성일 경우 생존했다고 예측합니다. (검증된 가설로 예측)

이 예측 결과를 캐글(Kaggle)에 제출하면, 몇 명의 승객을 맞췄는지에 대한 정답률을 알려줍니다.

이후 수강생분들끼리 팀을 짜서 자율 실습에 들어갑니다. 실습 목표는 경진대회의 상위 25% (예측 정확도 약 78.947%)에 도달하는 것입니다. 만일 첫 수업에서 상위 25%에 도달할 수 있다면 데이터 사이언티스트로서의 소질이 있다고 판단할 수 있습니다. 실습이 끝나면 가장 점수가 높은 수강생을 뽑아서 개인 인터뷰와 선물 증정식을 합니다.

자율 실습이 끝나면, 마지막으로 강사가 프로그래밍 시연을 합니다. 프로그램 언어 파이썬(python.org), 데이터 분석 패키지 판다스(Pandas), 데이터 시각화 패키지 시본(Seaborn), 마지막으로 인공지능&머신러닝 알고리즘 중 하나인 의사결정나무(Decision Tree)를 활용해 데이터를 분석하고 그 결과를 캐글에 제출합니다. 목표는 마찬가지로 경진대회 상위 25%에 해당하는 78.947%의 예측 정확도를 달성하는 것입니다.

프로그래밍 언어 파이썬(Python)과 관련 데이터 분석 패키지를 학습하기. 학습이 끝난 후 Titanic: Machine Learning from Disaster 경진대회에 재도전.

오후 수업에서는 본격적으로 데이터 분석을 배우며, 크게 다음의 툴을 학습합니다.

1. 프로그래밍 언어 파이썬(Python)
2. 파이썬의 데이터 분석 패키지 판다스(Pandas)
3. 파이썬의 인공지능&머신러닝 패키지 싸이킷런(scikit-learn)
4. 머신러닝 알고리즘 의사결정나무(Decision Tree)

위 네 개의 툴을 사용하는 법을 배웠다면, 마지막으로 1 ~ 4번을 조합하여 타이타닉 경진대회에 재도전합니다. 이번에는 엑셀이 아닌 파이썬을 활용하여 상위 25% (예측 정확도 78.947%)에 도전하며, 실습이 끝난 뒤에는 강사가 경진대회 상위 5% (예측 정확도 81.818%)에 도달할 수 있는 노하우를 공유합니다.

2주차에 학습할 툴에 대한 상세 설명은 다음과 같습니다.

파이썬

파이썬(Python)은 데이터 분석과 인공지능 분야에서 가장 많이 쓰이는 프로그래밍 언어입니다. 파이썬은 고레벨 프로그래밍 언어(High-Level Programming Language)답게 매우 직관적이면서 사람이 이해하기 쉬우며, 숙련자는 물론 프로그래밍 언어를 처음 접해보는 사람도 단기간에 배울 수 있습니다.

이번 수업에서는 파이썬의 다음 기능을 배울 것입니다.

• 파이썬의 기본 연산. 덧셈, 뺄셈, 곱셈, 나눗셈, 나머지 연산자 등.
• 파이썬의 비교 연산. 등호(==)와 부등호(!=), 이상, 이하, 미만, 초과 등.
• 파이썬의 변수. 변수를 할당하는 법과 사용하는 법 등.
• 파이썬의 다양한 데이터 타입. 숫자, 문자열(텍스트), 리스트(배열) 등.
• 파이썬의 제어문과 반복문. if-else와 for 등.
• 파이썬의 함수와 그 응용 등.

판다스

판다스(Pandas)는 파이썬에서 자주 쓰이는 데이터 분석 패키지입니다. 판다스에서는 엑셀에서 사용하는 기능을 그대로 쓸 수 있는데, 엑셀에 비해서 1) 대용량 데이터를 다루는 데 적합하며 (엑셀은 데이터의 용량이 100메가만 넘어가면 느려집니다), 2) 엑셀보다 훨씬 복잡한 기능을 코드 몇 줄로 구현할 수 있습니다. 3) 또한 파이썬을 기반으로 동작하기 때문에 데이터 분석 결과를 다양한 분야에 응용할 수 있습니다. (ex: 데이터베이스에 저장하기, 웹페이지에 띄우기, 머신러닝 알고리즘에 집어넣기 등)

이번 수업에서는 판다스의 다음 기능을 배울 것입니다.

• 판다스로 분석할 데이터를 읽어오고 저장하기.
• 판다스로 데이터의 행렬(row/column) 검색하기.
• 판다스로 데이터를 색인(indexing) 하기.
• 판다스로 데이터를 통계분석 하기. (pivot_table, crosstab, etc)
• 판다스로 데이터에 새로운 컬럼을 추가하거나 기존 컬럼값을 수정하기.
• 판다스로 복잡한 기능을 구현하기. (apply)

시본

시본(Seaborn)은 파이썬에서 주로 쓰이는 데이터 시각화(Data Visualization) 패키지 중 하나입니다. 파이썬에는 시본 외에도 다양한 패키지가 있지만, 1) 시본이 다른 패키지에 비해 간결하고 쉽게 쓸 수 있으며, 2) 기능이 다양하고 직관적인 시각화를 할 수 있습니다.

이번 수업에서는 시본의 다음 기능을 배울 것입니다.

• 타이타닉 데이터를 기준으로, 생존자와 사망자를 판가름할 수 있는 다양한 요소(성별, 운임요금 등)을 시각화하기
• 좌표 데이터를 시각화 할 수 있는 방법을 알아보기
• 히스토그램(histogram)과 같은 유명 시각화 기능을 살펴보기

싸이킷런 + 의사결정나무

싸이킷런(scikit-learn)은 파이썬에서 인공지능&머신러닝에 관련된 알고리즘을 하나로 묶어놓은 패키지입니다. 싸이킷런을 활용하면 알고리즘을 직접 구현할 필요 없이, 이미 만들어진 구현체를 파이썬으로 가져와 사용하면 됩니다.

이번 수업에서는 싸이킷런의 대표적인 머신러닝 알고리즘인 의사결정나무(Decision Tree)를 활용할 것이며, 크게 다음 기능을 배울 것입니다.

• 싸이킷런에서 머신러닝 알고리즘을 가져오기.
• 가져온 알고리즘에 데이터를 넣어 학습(fitting) 시키기.
• 학습이 끝난 데이터로 특정 상황을 예측(predict) 하기.
• 의사결정나무(Decision Tree)의 분석 결과를 시각화해서 보기

오프라인 부트캠프의 마지막은 앞으로 4주간, 그리고 장기적인 관점에서 수강생분들이 데이터사이언티스트가 되기 위해서는 어떤 것이 필요한지를 살펴보고 마무리하겠습니다. 크게 다음의 내용을 중점적으로 다룰 것입니다.

• 데이터 사이언스, 그리고 머신러닝 알고리즘의 탄생 과정.
• 현업에서는 어떻게 데이터 사이언스 팀을 구성하며, 어떠한 과정을 거쳐서 문제를 푸는가
• 회사에서는 캐글(Kaggle)같은 시스템이 없는데, 어떤 방식으로 모델의 성능을 검증할 수 있는가?
• 회사에서는 주로 어떠한 방식으로 데이터 사이언티스트를 구인하는가?

마지막으로 앞으로 4주간 온라인 수업을 통해 참여할 새로운 캐글 경진대회를 살펴봅니다. Capital Bikeshare 라는 워싱턴 D.C. 소재의 자전거 대여 스타트업에서 제공한 데이터를 바탕으로, 2011년도와 2012년도의 시간당 자전거 대여량을 예측하는 경진대회에 참석할 것입니다. 여기서는 주로 다음의 내용을 배우게 됩니다.

• 판다스를 통한 분석과 시각화를 통해, 데이터에서 우리가 모르고 있었던 새로운 특징을 뽑아내기.
• 현업에서 주로 쓰이는 최신 머신러닝 알고리즘을 배우고, 이를 실제 데이터에 적용하기
• 캐글(Kaggle)에 올리지 않고도 모델의 성능을 검증하기

캐글의 새로운 경진대회 Bike Sharing Demand 참여하기.

• 타이타닉 경진대회에 이은 Bike Sharing Demand 경진대회 에 참석.
• 오프라인 수업에서 배운 파이썬(Python)과 판다스(Pandas)와 시본(Seaborn)을 활용해보기
• 데이터 분석을 통해서 인사이트를 얻을 수 있는 탐험적 데이터 분석(Exploratory Data Analysis) 배우기.

온라인 수업부터는 새로운 캐글 경진대회에 참여합니다. Capital Bikeshare 라는 워싱턴 D.C. 소재의 자전거 대여 스타트업에서 제공한 데이터를 바탕으로, 2011년도와 2012년도의 시간당 자전거 대여량을 예측하는 경진대회에 참석합니다.

기존에 참여한 타이타닉 경진대회와 전혀 달라 보이지만, 우리가 이전까지 배운 지식을 이번 경진대회에서도 그대로 활용할 수 있습니다. 온라인 1주차 수업에서는 오프라인 수업을 복습하는 차원에서, 프로그래밍 언어 파이썬(Python)과 데이터 분석 패키지 판다스(Pandas), 데이터 시각화 패키지 시본(Seaborn)을 활용해봅니다.

여기에 더불어, 이번 수업에서는 데이터를 분석하여 그 결과를 머신러닝 알고리즘에 적용하는 탐험적 데이터 분석(Exploratory Data Analysis, 이하 EDA)에 대해서 배웁니다. 탐험적 데이터 분석을 통해 수강생분들은 다음의 정보를 얻게 됩니다.

• 특정 날짜와 시간에 따라 자전거 대여량이 달라지는 현상이 일어나는가? (가령 주중/주말, 근무하는 날/근무하지 않는 날)
• 계절(봄, 여름, 가을, 겨울)에 따라서 자전거 대여 패턴이 달라지는가?
• 날씨(해가 쨍쨍함 / 비가 내름)에 따라서 자전거 대여 패턴이 달라지는가?

마지막으로 수강생 분들은 1주차 과제를 제공 받습니다. 1주차 과제는 앞서 강사가 엑셀과 데이터 시각화를 통해 분석한 결과 외에도, 수강생분들이 스스로 데이터에서 결과를 추출하는 것입니다. 가령 예를 들자면 다음과 같습니다.

• 온도(temperature), 습도(humidity), 풍속(windspeed)에 따라서 자전거를 많이 빌리거나, 또는 덜 빌리는 현상이 발생하는가?
• 비회원(casual)과 회원(registered)간의 자전거 대여 패턴의 차이가 있는가?

위 과제를 풀면서, 부족하거나 잘 이해가 안 되는 부분이 있다면 자유롭게 채팅방을 통해서 담당 조교에게 질문을 주시면 됩니다. 풀이가 끝난 다음에는 과제를 제출하며, 제출한 과제를 강사나 조교가 확인 후 피드백을 드립니다.

분석한 데이터를 머신러닝 알고리즘에 학습시킨 뒤, 그 결과를 캐글에 제출하기

• 데이터를 의사결정나무(Decision Tree)에 집어넣기
• 머신러닝 알고리즘의 특성 중 하나인 분류(Classification)과 회귀(Regression)에 대해 이해하고, 이를 머신러닝 알고리즘에 적용하기
• 새로운 머신러닝 알고리즘인 랜덤 포레스트(Random Forest) 사용해보기

2주차 수업에서는 분석한 데이터를 실제 머신러닝 알고리즘에 집어넣습니다. 오프라인 부트캠프 수업에서 배웠던 의사결정나무(Decision Tree) 알고리즘에 데이터를 집어넣고, 이를 캐글에 제출해서 점수를 확인하는 것이 첫 시작입니다.

이후 이 예측 모델의 성능을 개선할 수 있는 몇 가지 아이디어를 테스트해봅니다. 첫 번째로는 머신러닝 알고리즘을 사용할 때 알아두면 도움이 되는 분류(Classification)과 회귀(Regression)라는 개념을 이해하고, 이 개념을 적용한 회귀 버전의 의사결정나무(DecisionTreeRegressor)를 적용해봅니다.

또한 의사결정나무(Decision Tree) 알고리즘을 개선한 새로운 알고리즘을 테스트해봅니다. 의사결정나무 알고리즘 여러개를 섞어서 사용하는 랜덤 포레스트(Random Forest)라는 알고리즘을 사용합니다. 이 알고리즘은 대부분 의사결정나무보다 더 좋은 성능을 보장하는 강력한 알고리즘입니다. 이 알고리즘의 원리와 사용 방법을 배우면 더 정확한 예측 모델을 구현할 수 있습니다.

마지막으로 수강생분들은 2주차 과제를 제공받습니다. 이번 과제의 목표는 1, 2주차에서 배운 내용을 활용하여 Bike Sharing Demand 경진대회의 상위 25% (캐글 점수 0.44691) 안에 드는 것입니다. 2주차에서 배운 데이터를 머신러닝 알고리즘에 집어넣는 방법, 그리고 1주차에 탐험적 데이터 분석(Exploratory Data Analysis)을 통해 찾은 정보를 머신러닝 알고리즘에 집어넣으면 충분히 상위 25%에 해당하는 점수에 도달할 수 있을 것입니다.

캐글(Kaggle)에 제출 파일을 올리지 않고 머신러닝 알고리즘이 개선되었는지를 파악하기

• 모델을 검증(Model Validation)하는 두 가지 방식, Hold-out Validation과 Cross Validation을 배우기.
• 측정 공식(Evaluation Metric)을 통해 검증한 모델의 성능을 측정하기.

3주차 수업에서는 모델의 예측값을 매 번 캐글(Kaggle)에 제출하지 않고도 모델의 성능을 검증할 수 있는 방법을 배웁니다. 먼저 모델을 검증하는 두 가지 방식인 Hold-out Validation과 Cross Validation에 대해 배웁니다.

이후 검증 결과를 바탕으로 모델이 개선되었는지 여부를 파악할 수 있는 측정 공식에 대해 배웁니다. 이번 수업에서는 회귀(Regression) 문제에 대한 측정 공식인 Mean Absolute Error(MAE), Mean Squared Error(MSE), Root Mean Squared Error(RMSE) 등에 대해 배웁니다.

마지막으로 3주차의 과제를 제공받습니다. 3주차 과제는 지금까지 배운 내용을 바탕으로 Bike Sharing Demand 경진대회의 상위 10% (캐글 점수 0.40856) 안에 드는 것입니다. 캐글 상위 10%는 보통 프로와 아마추어를 구분하는 기준이라고 할 만큼 중요한 지표이며, 그만큼 난이도도 높은 편에 속합니다. 하지만 수강생 분들은 지금까지 배운 다음의 내용들을 잘 활용하고, 틈틈히 강사와 조교의 도움을 받는다면 충분히 상위 10%에 해당하는 점수를 달성할 수 있을 것입니다.

• 기존에 보유하고 있는 데이터에서 새로운 정보를 추출하는 Feature Engineering.
• 기존에 보유하고 있는 데이터에서 필요 없는 정보를 제거하는 Feature Selection.
• 비어있는 값을 제거하거나, 전체 분포와 동떨어져 있는 아웃라이어(outlier)를 제거하는 Data Cleaning.

마지막 주차에서는 지금까지 배운 내용 + a를 활용하여 캐글 최상위권 성적에 도전합니다. 최소 경진대회 상위 5%(캐글 점수 0.39010), 가능한 경진대회 100위권 이내(캐글 점수 0.37748)에 도달할 수 있도록 합니다. 주로 다음의 내용을 활용하게 될 것입니다.

• Bike Sharing Demand의 공식 측정 공식인 Root Mean Squared Logarithmic Error(이하 RMSLE)를 이해하고 이를 머신러닝 알고리즘에 활용하기
• 랜덤포레스트의 성능을 끌어올릴 수 있는 하이퍼패러미터(Hyperparameter)를 이해하고 이를 활용해 모델을 튜닝하기
• 정형 데이터(Structured Dataset, 일명 엑셀 데이터)에 한해 가장 강력한 머신러닝 알고리즘으로 알려진 그래디언트 부스팅 트리(Gradient Boosting Tree)를 배우고 활용해보기.
• 가장 뛰어난 그래디언트 부스팅 트리(Gradient Boosting Tree)의 구현체인 XGBoost와 LightGBM을 배우고 활용해보기.

캐글에서는 상위 5%에 진입한 사람을 프로 중에서도 특출나게 뛰어난 데이터 사이언티스트로 간주합니다. (해당 참석자에게는 캐글에서 공인하는 은메달 마크가 부여됩니다) 입문반 수업을 통해 경진대회 상위 5%, 내지는 상위 100위 안으로 진입할 수 있는 노하우를 습득할 수 있다면, 데이터 사이언티스트 되는 데 필수적인 지식은 거의 습득했다고 가정해도 무방합니다.

마지막으로 수업이 끝난 뒤에는 앞으로 어떤 것을 배워야 하며, 데이터사이언스를 본인의 커리어에 활용하기 위해서는 어떠한 내용을 추가로 학습하고 공부해야 하는지를 알려드린 뒤 수업을 마무리합니다.