프로그래밍 언어 파이썬(Python)과 관련 데이터 분석 패키지를 학습하기. 학습이 끝난 후 Titanic: Machine Learning from Disaster 경진대회에 재도전.

2주차 수업에서는 본격적으로 데이터 분석을 배우며, 크게 다음의 툴을 학습합니다.

1. 프로그래밍 언어 파이썬(Python)
2. 파이썬의 데이터 분석 패키지 판다스(Pandas)
3. 파이썬의 인공지능&머신러닝 패키지 싸이킷런(scikit-learn)
4. 머신러닝 알고리즘 의사결정나무(Decision Tree)

위 네 개의 툴을 사용하는 법을 배웠다면, 마지막으로 1 ~ 4번을 조합하여 타이타닉 경진대회에 재도전합니다. 이번에는 엑셀이 아닌 파이썬을 활용하여 상위 25% (예측 정확도 78.947%)에 도전하며, 실습이 끝난 뒤에는 강사가 경진대회 상위 5% (예측 정확도 81.818%)에 도달할 수 있는 노하우를 공유합니다.

2주차에 학습할 툴에 대한 상세 설명은 다음과 같습니다.

파이썬

파이썬(Python)은 데이터 분석과 인공지능 분야에서 가장 많이 쓰이는 프로그래밍 언어입니다. 파이썬은 고레벨 프로그래밍 언어(High-Level Programming Language)답게 매우 직관적이면서 사람이 이해하기 쉬우며, 숙련자는 물론 프로그래밍 언어를 처음 접해보는 사람도 단기간에 배울 수 있습니다.

이번 수업에서는 파이썬의 다음 기능을 배울 것입니다.

• 파이썬의 기본 연산. 덧셈, 뺄셈, 곱셈, 나눗셈, 나머지 연산자 등.
• 파이썬의 비교 연산. 등호(==)와 부등호(!=), 이상, 이하, 미만, 초과 등.
• 파이썬의 변수. 변수를 할당하는 법과 사용하는 법 등.
• 파이썬의 다양한 데이터 타입. 숫자, 문자열(텍스트), 리스트(배열) 등.
• 파이썬의 제어문과 반복문. if-else와 for 등.
• 파이썬의 함수와 그 응용 등.

판다스

판다스(Pandas)는 파이썬에서 자주 쓰이는 데이터 분석 패키지입니다. 판다스에서는 엑셀에서 사용하는 기능을 그대로 쓸 수 있는데, 엑셀에 비해서 1) 대용량 데이터를 다루는 데 적합하며 (엑셀은 데이터의 용량이 100메가만 넘어가면 느려집니다), 2) 엑셀보다 훨씬 복잡한 기능을 코드 몇 줄로 구현할 수 있습니다. 3) 또한 파이썬을 기반으로 동작하기 때문에 데이터 분석 결과를 다양한 분야에 응용할 수 있습니다. (ex: 데이터베이스에 저장하기, 웹페이지에 띄우기, 머신러닝 알고리즘에 집어넣기 등)

이번 수업에서는 판다스의 다음 기능을 배울 것입니다.

• 판다스로 분석할 데이터를 읽어오고 저장하기.
• 판다스로 데이터의 행렬(row/column) 검색하기.
• 판다스로 데이터를 색인(indexing) 하기.
• 판다스로 데이터를 통계분석 하기. (pivot_table, crosstab, etc)
• 판다스로 데이터에 새로운 컬럼을 추가하거나 기존 컬럼값을 수정하기.
• 판다스로 복잡한 기능을 구현하기. (apply)

싸이킷런 + 의사결정나무

싸이킷런(scikit-learn)은 파이썬에서 인공지능&머신러닝에 관련된 알고리즘을 하나로 묶어놓은 패키지입니다. 싸이킷런을 활용하면 알고리즘을 직접 구현할 필요 없이, 이미 만들어진 구현체를 파이썬으로 가져와 사용하면 됩니다.

이번 수업에서는 싸이킷런의 대표적인 머신러닝 알고리즘인 의사결정나무(Decision Tree)를 활용할 것이며, 크게 다음 기능을 배울 것입니다.

• 싸이킷런에서 머신러닝 알고리즘을 가져오기.
• 가져온 알고리즘에 데이터를 넣어 학습(fitting) 시키기.
• 학습이 끝난 데이터로 특정 상황을 예측(predict) 하기.
• 의사결정나무(Decision Tree)의 분석 결과를 시각화해서 보기.

캐글의 새로운 경진대회 Bike Sharing Demand 참여하기.

• 타이타닉 경진대회에 이은 Bike Sharing Demand 경진대회 에 참석.
• 데이터 분석을 통해서 인사이트를 얻을 수 있는 탐험적 데이터 분석(Exploratory Data Analysis) 배우기.
• 팀을 짠 뒤 경진대회 실습. Bike Sharing Demand 상위 25%에 도전해보기.
• 실습이 끝난 뒤 강사의 시연으로 Bike Sharing Demand 상위 10% 후반에 진입하는 노하우를 배우기.

이번 시간에는 2주차에서 학습한 내용을 바탕으로 새로운 경진대회에 참가합니다. Capital Bikeshare 라는 워싱턴 D.C. 소재의 자전거 대여 스타트업에서 제공한 데이터를 바탕으로, 2011년도와 2012년도의 시간당 자전거 대여량을 예측하는 경진대회에 참석합니다.

기존에 참여한 타이타닉 경진대회와 전혀 달라 보이지만, 우리가 이전까지 배운 지식을 이번 경진대회에서도 그대로 활용할 수 있습니다. 여기에 더불어, 3주차에서는 데이터를 분석하여 그 결과를 머신러닝 알고리즘에 적용하는 탐험적 데이터 분석(Exploratory Data Analysis, 이하 EDA)에 대해서 배웁니다. 정확하게는 다음의 데이터 분석 노하우를 배울 것입니다.

• 기존에 보유하고 있는 데이터에서 새로운 정보를 추출하는 Feature Engineering.
• 기존에 보유하고 있는 데이터에서 필요 없는 정보를 제거하는 Feature Selection.
• 비어있는 값을 제거하거나, 전체 분포와 동떨어져 있는 아웃라이어(outlier)를 제거하는 Data Cleaning.
• 캐글(Kaggle)에 제출하지 않고도 현재 구현한 예측 모델의 정확도를 측정할 방법. (Cross Validation)

또한 3주차에는 의사결정나무(Decision Tree)의 업그레이드 버전인 랜덤 포레스트(Random Forest)를 학습합니다. 이 알고리즘은 대부분 의사결정나무보다 더 좋은 성능을 보장하는 강력한 알고리즘입니다. 이 알고리즘의 원리와 사용 방법을 배우면 더 정확한 예측 모델을 구현할 수 있습니다.

이번 실습의 최종 목표는 Bike Sharing Demand 경진대회의 상위 25% 안에 드는 것입니다. 2주차에서 배운 내용과 3주차에서 새롭게 배운 내용을 조합하면 어렵지 않게 상위 25%에 도달할 수 있습니다. 실습이 끝나면 마지막으로 강사의 시연을 통해 Bike Sharing Demand 경진대회의 상위 25%, 더 나아가서 10% 후반대에 도달할 수 있는 노하우를 공유합니다.

데이터 시각화(Data Visualization)를 배운 뒤, 다시 한번 Bike Sharing Demand 경진대회에 참석하기.

• matplotlib와 Seaborn을 활용한 데이터 시각화 실습하기.
• Bike Sharing Demand 경진대회에 재도전, 상위 10%에 도전해보기.
• 실습이 끝난 뒤 강사의 시연으로 Bike Sharing Demand 상위 5%에 진입하는 노하우를 배우기.

이번 시간에는 새로운 데이터 분석 방식인 데이터 시각화(Data Visualization)를 배웁니다. 데이터 시각화 패키지는 파이썬에서 가장 많이 사용하는 matplotlib와 Seaborn을 사용하며, 히스토그램(histogram)이나 bar plot, scatter plot 등의 시각화 방법과 그 결과를 해석하는 방법을 배웁니다.

데이터 시각화를 배웠으면 3주차에 이어 다시 한번 Bike Sharing Demand 에 도전합니다. 이번 실습에는 판다스(Pandas)를 활용한 데이터 분석 노하우와 matplotlib, Seaborn을 활용한 데이터 시각화 노하우를 병행합니다. 또한 이외에도 다음의 내용을 추가로 배울 것입니다.

• 예측 모델이 잘 만들어졌는지를 정량적으로 판단할 수 있는 측정 공식. (Evaluation Metrics)
• 머신러닝 알고리즘(ex: 랜덤 포레스트)을 튜닝하여 성능을 끌어올릴 수 있는 하이퍼패러미터 튜닝. (Hyperparameter Tuning)
• 측정 공식(Evaluation Metrics)을 분석하여 이에 맞게 데이터를 수정하거나 머신러닝 모델을 개선하는 노하우.

마지막으로 4주차에는 랜덤 포레스트(Random Forest)를 넘어서서, 가장 강력한 머신러닝 알고리즘인 그래디언트 부스팅 트리(Gradient Boosting Tree)를 배웁니다. 이 알고리즘은 1) 구조화된 데이터(Structured Data)에 한하여 언제나 최고의 성능을 보장하며, 2) 현장에서도 자주 쓰이는 매우 실용적인 알고리즘입니다. 이번 수업에서는 가장 뛰어난 그래디언트 부스팅 트리의 구현체인 XGBoost와 LightGBM을 사용합니다.

이번 실습의 최종 목표는 Bike Sharing Demand 경진대회의 상위 10% 안에 드는 것입니다. 일반적으로 캐글 경진대회에서 상위 10% 안에 진입한 사람은 프로페셔널한 데이터 사이언티스트로 간주합니다. (해당 참석자에게는 캐글에서 공인하는 동메달 마크가 부여됩니다) 만일 4주차 수업에서 스스로의 힘으로 상위 10%에 도달할 수 있다면, 데이터 사이언티스트로서 충분한 재능을 보유하고 있다고 판단할 수 있습니다.

실습이 끝나면 마지막으로 강사가 간단한 시연을 통해 Bike Sharing Demand 경진대회의 상위 5% 이내에 진입할 수 있는 노하우를 공유합니다. 캐글에서는 상위 5%에 진입한 사람을 프로 중에서도 특출나게 뛰어난 데이터 사이언티스트로 간주합니다. (해당 참석자에게는 캐글에서 공인하는 은메달 마크가 부여됩니다) 입문반 수업을 통해 경진대회 상위 5%의 노하우를 습득할 수 있다면, 데이터 사이언티스트 되는 데 필요한 지식은 거의 습득했다고 가정해도 무방합니다.

마지막으로 수업이 끝난 뒤, 수강생분들이 앞으로 스스로 공부를 하는 데 도움이 될 자료를 공유합니다. 파이썬, 판다스, 인공지능&머신러닝을 추가로 공부하는 데 도움이 될 서적과 인터넷 자료를 소개하고, 다른 경진대회에 도전하고 싶은 분들을 위해 추천할만한 주요 캐글 경진대회를 소개합니다. 또한, 해당 경진대회 상위권에 도달할 수 있는 다양한 팁을 공유한 뒤 수업을 마무리합니다.

첫 수업에서는 데이터 분석의 기본을 배웁니다. 데이터 분석(Data Analytics)의 의미와 역할, 데이터 분석을 통해 얻을 수 있는 것을 배운 뒤, 파이썬의 데이터 분석 패키지 판다스(Pandas)를 학습합니다.

판다스(Pandas)를 사용하면 대용량의 데이터를 효율적으로 분석할 수 있고, 복잡한 분석도 파이썬을 활용해 간단하게 처리할 수 있습니다. 수업에서는 판다스의 가장 기본적인 데이터 형식인 데이터프레임(DataFrame)의 사용법부터, 데이터에서 행렬을 가져오고, 색인하고, 정렬하고, 잘못된 데이터를 정리하는 법 등을 배웁니다. 또한 피벗 테이블(pivot_table)과 같은 간단한 분석 노하우도 배울 수 있습니다.

판다스(Pandas)를 모두 배웠으면, 헬스케어 스타트업 눔(Noom)의 데이터를 활용해 분석을 시작합니다. 먼저 잘못된 회원 정보(몸무게가 너무 높거나, 키가 너무 작거나)를 정리하는 데이터 클리닝(Data Cleaning)을 진행한 뒤, 다음의 질문에 대해 데이터에 기반한 답을 제시합니다.

• 눔(Noom)을 사용하는 무료 사용자들은 주로 어느 시간대에 유료 사용자로 전환하는가? (ex: 새벽, 낮, 주중, 주말) - 이 사실을 알 수 있다면, 해당 시간대에 유료 서비스 구매를 촉진하는 이메일을 보냄으로써 회사의 매출을 올릴 수 있습니다.
• 눔(Noom)을 사용하는 무료 사용자 중, 유료 사용자로 전환할 확률이 가장 높은 연령/성별은 어디인가? - 이 사실을 알 수 있다면, 해당 연령/성별에 집행하는 마케팅 예산을 늘릴 수 있습니다. (가령 30대 여성이 유료 결제 확률이 높다면, 페이스북에서 30대 여성에게 광고를 더 많이 보여줘야겠죠) 반면 정 반대의 경우에는 마케팅 예산을 줄임으로써 더 효율적인 마케팅을 할 수 있습니다. (가령 50~60대 남성은 유료 결제 확률이 낮다면, 페이스북 마케팅에서 이분들에게는 광고를 노출하지 않는 것도 좋은 방법입니다)
• 유료 사용자를 코칭하는 코치 중, 어느 코치가 가장 만족도가 높은가? - 만족도가 높은 기준은 사용자가 계속 유료 서비스를 이용하는가로 판단할 수 있습니다. 즉, 고객 이탈률(churn rate)이 가장 낮은 코치가 가장 뛰어난 코치라고 판단할 수 있습니다. 반면, 고객 이탈률(churn rate)이 높은 코치일수록 사용자가 가장 불만족스러워한다고 판단할 수 있습니다.

두 번째 수업에서는 여러 개의 데이터를 하나로 합쳐서 사용하는 법과 데이터베이스에서 필요한 정보를 가져올 방법을 배웁니다. 대부분의 경우, 데이터는 하나의 파일(excel, csv, etc)로 저장되어 있지 않습니다. 효율적으로 데이터를 저장하기 위해 여러 개의 작은 파일로 나누어져 있으며, 데이터를 분석할 때는 이렇게 여러 개로 나눠진 데이터를 하나로 합치는 방법을 배워야 합니다. 또한 데이터는 CSV와 같은 파일 형식이 아닌 MySQL, MSSQL, Oracle과 같은 전문적인 프로그램(일명 데이터베이스)에 저장된 경우도 있습니다. 이 경우 SQL(Structured Query Language)이라는, 데이터베이스를 위한 별도의 프로그래밍 언어를 사용해야 합니다.

이번 수업에서는 판다스에서 여러 개의 데이터를 하나로 합치는 merge, join, concat 등의 기능, 그리고 데이터 분석가에게 필요한 SQL 문법을 압축적으로 배울 것입니다.

여러 개의 데이터를 합치는 법을 배웠으면, 데이터사이언스 교육 스타트업 DS School의 마케팅 데이터와 결제 데이터를 분석합니다. 분석 목표는 어느 마케팅 채널이 가장 효율적이며, 반대로 어느 마케팅 채널이 가장 효율적이지 않은가? 입니다. 효율적인 마케팅 채널이 있다면 해당 채널에 마케팅 예산을 집중하고, 반면에 효율적이지 않은 채널이 있다면 해당 마케팅 채널에 집행한 예산을 줄일 수 있습니다. 마케팅 효율에 대한 구체적인 질문은 다음과 같습니다.

• DS School의 수강생은 어떠한 목적을 달성하기 위해 수업을 신청하였는가? - DS School 수강생의 구매 전 설문 조사를 바탕으로 이 내용을 분석할 수 있습니다. 이 분석 결과를 바탕으로 수업의 내용을 변경하거나, 난이도를 조정하거나, 수강생의 니즈에 맞는 신규 커리큘럼을 만드는 것도 가능합니다.
• DS School이 보유한 마케팅 채널 중 가장 효율이 높은 채널은 어떤 것인가? - DS School은 주로 페이스북 마케팅을 활용하는데, 이 채널당 고객 획득 비용(Customer Acquisition Cost, 이하 CAC)과 고객 생애 가치(Customer Lifetime Value, 이하 LTV)를 계산한 뒤 LTV/CAC 비율이 가장 효율적인 마케팅 채널 순으로 정렬합니다. 가장 효율이 높은 채널을 파악할 수 있다면, 이 채널에 예산을 집중하거나 이 채널이 효과가 좋은 이유를 분석해서 새로운 마케팅 채널과 컨텐츠를 생성할 수 있습니다.
• DS School의 매출 변화는 어떻게 되는가? - DS School의 강연이 가장 잘 팔리는 시기(시간, 내지는 주중/주말 등)를 파악한 뒤 그 시기에 구매를 유도하는 이메일을 발송할 수도 있고, 현재의 매출 변화량을 바탕으로 누적 매출이나 예상 매출 등을 리포트 방식으로 시각화시킬 수도 있습니다.

세 번째 수업에서는 앞서 배운 판다스와 SQL 노하우와 더불어, 데이터를 시각화한 뒤 이 결과를 바탕으로 결론을 도출하는 방법을 배웁니다.

데이터 시각화는 주어진 데이터를 직관적으로 표현할 수 있다는 장점이 있으며, 그렇기 때문에 분석 결과를 다른 사람에게 이해시키고 설득할 수 있도록 도와줍니다. 하지만 효과적이고 직관적인 데이터 시각화를 위해서는, 이를 위한 적절한 시각화 그래프나 도표를 사용해야 합니다.

이번 수업에서는 파이썬의 데이터 시각화 패키지인 seaborn이나 matplotlib등을 활용하여 데이터를 분석하고 시각화 할 수 있는 방법을 배웁니다. 이 방법을 활용하면 파이썬과 판다스, 쥬피터 노트북으로 직관적이고 편리한 시각화 대시보드를 구현할 수 있습니다.

데이터 시각화를 배웠다면, 다음으로는 국내 최대의 여성 의류 쇼핑몰 플랫폼 지그재그(ZIGZAG)의 고객 행동 패턴을 분석합니다. 이번 목표는 사용자의 액티비티를 바탕으로 고객의 니즈나 주요 여성 의류 쇼핑몰들의 특징을 분석하는 것입니다. 또한 이번 수업에서는 데이터 분석가를 위한 분석뿐만 아니라, 기획자, 마케터, 내지는 팀 내의 의사결정권자에게 데이터를 직관적으로 이해시킬 수 있는 시각화 방법을 배울 것입니다. 구체적인 분석은 다음과 같습니다.

• 고객들은 지그재그에서 어떠한 과정을 거쳐서 상품을 구매하는가 - 이러한 행동 패턴을 분석하면 고객의 구매 루트를 최적화하거나, 구매하지 않고 이탈할 사용자를 붙잡아서 매출을 증대할 수 있습니다.
• 고객들이 선호하는 여성 의류 쇼핑몰들은 어디인가? - 이 사실을 파악할 수 있으면, 고객이 서비스를 이용하는 과정 중에 (내지는 이용 후에 이메일을 통해) 쇼핑몰이나 상품을 추천한 뒤 고객에게 상품을 업셀(up sell, 추가로 구매하도록 유도)할 수 있습니다.

마지막 수업에서는 기존에 배운 내용 외에도, 수강생분들이 앞으로 데이터 분석가로서 활동할 때 알아뒀으면 하는 부분들을 다룹니다. 판다스에서 데이터를 효율적으로 읽고 저장하는 방법, 텍스트 파일(특히나 한글 데이터)를 읽다가 문제가 발생할 경우 이를 해결하는 방법, 대용량의 데이터를 효율적으로 분석하고 저장하는 방법 등에 대해 집중적으로 배웁니다.

마지막 수업에서는 그동안 배운 내용을 총동원하여, 한 명의 데이터 분석가로서 수강생이 어느 정도의 실력을 갖추고 있는지 검증하는 시간을 가질 것입니다. 이번 수업에서는 프리랜서 오픈마켓 서비스 크몽(Kmong)의 사용자 데이터를 분석할 것입니다. 주요 분석 과제는 다음과 같습니다.

• 크몽 사용자의 웹 행동 데이터, 그리고 앱 행동 데이터를 정리하기 - 크몽의 고객들은 웹, 아이폰, 안드로이드등 다앙한 디바이스와 OS로 서비스를 이용하고 있습니다. 이 디바이스에서 쌓인 내용을 분석할 수 있도록 깔끔하게 정리한 뒤, 여러 개로 나누어진 데이터를 판다스의 merge나 concat등을 활용해 하나로 묶어주는 작업을 할 것입니다.
• 크몽 사용자들의 유입 경로, 검색 키워드를 분석하기 - 크몽의 고객들은 네이버나 페이스북 등 다양한 경로를 통해 서비스를 방문합니다. 이 사용자들이 어떤 채널(네이버, 페이스북, etc)을, 어떤 키워드나 컨텐츠를 통해 방문할는지 분석을 할 수 있다면 마케터들이 신규 광고 컨텐츠를 만들거나 검색 키워드를 늘리는데 도움을 줄 수 있을 것입니다.
• 크몽 사용자들의 구매 루트 분석하기 - 크몽의 고객들이 서비스에 유입되었다면, 무언과의 과정을 통해 컨텐츠를 살펴보고, 검토한 뒤 구매를 결정했을 것입니다. 이 과정에서 고객이 구매를 결정할 수 있었던 요소를 분석할 수 있다면, 서비스 차원에서 이를 더 강조하거나 부족한 부분을 충원한다면 고객들이 구매를 결정하는 데 도움을 줄 수 있고, 이는 서비스의 매출 증대로 이어질 수 있을 것입니다.

4주간의 수업이 모두 끝나면, 여태까지 분석한 컨텐츠 외의 추가 과제가 수강생들에게 제공될 것입니다.

추가 과제는 3주차 수업인 지그재그 데이터와 4주차 수업인 크몽의 데이터를 활용한 각각 10개의 추가 과제가 주어집니다. 만일 데이터분석가로 취업하거나 이직하길 원하는 분들이 있다면, 해당 과제를 푼 뒤 이력서와 함께 제출하면 관련 자료가 각각의 스타트업으로 전달됩니다.

전달 후 스타트업 담당자분의 검토를 거쳐, 데이터분석가로서 활동할 수 있는 충분한 소질이 있다고 판단될 경우 본격적으로 면접 진행 절차를 밟게 될 것입니다.

머신러닝의 기본 개념에 대한 설명, 의사결정나무(Decision Tree)의 알고리즘의 이론과 실제 구현을 해보기

• 머신러닝 알고리즘에 대한 설명. 지도학습(Supervised Learning)과 비지도학습(Unsupervised Learning)에 대한 설명
• 주로 어떤 데이터셋에 어떤 알고리즘을 사용하는가? 구조화된 데이터셋(Structured Dataset) vs 비구조화된 데이터셋(Unstructured Dataset)을 중심으로 설명
• 의사결정나무(Decision Tree)의 이론에 대한 설명. 그리고 의사결정나무(Decision Tree) 알고리즘을 실제 구현해보기

첫 번째 수업에서는 머신러닝 알고리즘에 대한 기본적인 설명부터 시작합니다. 머신러닝의 기본 개념인 지도학습(Supervised Learning)과 비지도학습(Unsupervised Learning)에 대해 살펴보고, 그 차이점과 장단점에 대해 살펴봅니다. 또한 데이터셋마다 가장 효과를 낼 수 있는 알고리즘에 대해 살펴보며, 주로 구조화된 데이터셋(Structured Dataset)과 비구조화된 데이터셋(Unstructured Dataset)을 중심으로 살펴봅니다.

이후 첫 번째 머신러닝 알고리즘으로, 가장 기초적인 알고리즘 중 하나인 의사결정나무(Decision Tree)에 대해 살펴봅니다. 의사결정나무의 기본적인 동작 방식과, 의사결정나무 알고리즘의 핵심이 되는 지니 불순도(Gini Impurity)에 대해서 다룹니다. 이후 프로그래밍 언어 파이썬을 통해 의사결정나무를 직접 작성하고 실행해봅니다.

앙상블(Ensemble) 알고리즘을 통해 의사결정나무의 성능을 업그레이드하기

• 앙상블(Ensemble) 알고리즘에 대한 설명.
• 앙상블 알고리즘의 일종인 배깅(Bagging, 내지는 Bootstrap Aggregating)의 원리를 알아보고, 이를 의사결정나무(Decision Tree) 알고리즘에 적용한 새로운 알고리즘 랜덤 포레스트(Random Forest)에 대해 알아보기
• 마찬가지로 앙상블 알고리즘의 일종인 부스팅(Boosting)과 그래디언트 부스팅(Gradient Boosting)의 원리를 알아보고, 이를 의사결정나무(Decision Tree) 알고리즘에 적용한 그래디언트 부스팅 머신(Gradient Boosting Machine)에 대해 알아보기.

2주 차에서는 여러 개의 머신러닝 모델을 섞어서 성능을 끌어올리는 앙상블(Ensemble) 알고리즘에 대해 살펴봅니다. 가장 유명한 앙상블 알고리즘인 배깅(Bagging)과 부스팅(Boosting), 그리고 부스팅의 업그레이드 버전인 그래디언트 부스팅(Gradient Boosting)에 대해서 살펴보고, 이 앙상블 알고리즘 간의 차이점과 장단점을 살펴봅니다.

이후 이 앙상블 알고리즘을 의사결정나무(Decision Tree) 알고리즘에 적용합니다. 먼저 의사결정나무에 배깅(Bagging) 알고리즘을 적용한 랜덤 포레스트(Random Forest)에 대해 살펴보고, 마찬가지로 그래디언트 부스팅(Gradient Boosting) 알고리즘을 적용한 그래디언트 부스팅 머신(Gradient Boosting Machine)을 살펴봅니다. 이후 프로그래밍 언어 파이썬을 통해 이 알고리즘들을 직접 작성하고 실행해봅니다.

가장 강력한 그래디언트 부스팅 머신(Gradient Boosting Machine) 구현체인 XGBoost, LightGBM, CatBoost를 살펴보고 이 알고리즘을 튜닝하는 방법을 배우기

• 그래디언트 부스팅 머신(Gradient Boosting Machine)의 다양한 구현체에 대한 설명
• 왜 이 구현체를 사용하는 것이 그래디언트 부스팅 머신(Gradient Boosting Machine)를 직접 구현하는 것보다 성능이 좋은가?
• 가장 강력한 그래디언트 부스팅 머신(Gradient Boosting Machine)의 구현체 비교: XGBoost, LightGBM, CatBoost.
• 그래디언트 부스팅 머신(Gradient Boosting Machine)의 하이퍼패러미터(Hyperparameter)에 대해 살펴보기
• 하이퍼패러미터(Hyperparameter)를 튜닝하는 다양한 방식을 살펴보기

3주 차에서는 머신러닝을 실용적인 관점에서 접근합니다. 먼저 그래디언트 부스팅 머신(Gradient Boosting Machine)을 사용하기 쉽도록 구현한 세 가지 파이썬 패키지(XGBoost, LightGBM, CatBoost)를 살펴본 뒤 이 패키지들의 장단점에 대해 살펴봅니다. 또한 왜 기존의 그래디언트 부스팅 머신 패키지(ex: scikit-learn)에 비해 XGBoost, LightGBM, CatBoost이 더 성능이 좋은지도 살펴봅니다.

이후 그래디언트 부스팅 머신(Gradient Boosting Machine)의 성능을 튜닝할 수 있는 하이퍼패러미터(Hyperparameter)에 대해 다룹니다. 가장 중요한 하이퍼패러미터들(ex: 트리의 깊이, 갯수 등)과 이 역할, 각각의 튜닝 방식에 대해 살펴보고, 마지막으로 모든 하이퍼패러미터를 동시에 튜닝하는 방법(ex: Grid Search, Random Search)에 대해 살펴봅니다.

지금까지 배운 지식을 총동원하여, 데이터 사이언스 경진대회 캐글(Kaggle)에 참여하여 상위권 성적을 노리기.

• 데이터 사이언스 경진대회 캐글(Kaggle) 소개.
• 캐글 Otto Group Product Classification Challenge 경진대회 소개
• 그래디언트 부스팅 머신 + 하이퍼패러미터 튜닝으로 캐글 경진대회 상위권에 도전하기

마지막 4주 차에는 그래디언트 부스팅 머신(Gradient Boosting Machine)을 실전에 적용해봅니다. 데이터 사이언티스트들이 참여하는 온라인 경진대회 캐글(Kaggle)에 도전하며, 주어진 정보를 활용해 전자상거래(ex: 쿠팡, 11번가) 서비스의 상품을 분류하는 Otto Group Product Classification Challenge에 참여합니다.

이 경진대회에서는 데이터를 분석하는 스킬도 중요하지만, 그보다 머신러닝 알고리즘에 대한 이해와 하이퍼패러미터 튜닝 방법을 숙지하는 것이 더 중요합니다. 이번 경진대회에서의 목표 등수는 상위 10%입니다. 보통 캐글에서는 상위 10% 안에 든 참석자를 현장에서 당장 일할 수 있는 실력을 갖추었다고 평가하는데, 만일 스스로의 힘으로 상위 10% 안에 들 수 있다면 수업을 충분히 따라왔다고 볼 수 있고, 머신러닝에 관해서는 당장 즉시 전력으로 현장에 투입될 수 있는 실력을 갖췄다고 볼 수 있습니다.

첫 수업에서는 딥러닝이 정확하게 어떤 알고리즘이며, 왜 현재의 인공지능 붐을 주도하게 되었는지 설명합니다.

강의에 대한 소개가 끝나면, 먼저 가장 기본적인 딥러닝 알고리즘인 Single-layer neural network 알고리즘을 배우고 이를 직접 구현해봅니다. 가장 단순한 구현 방식(ex: Random Search)부터 시작해, 가장 효과적이며 모든 딥러닝 알고리즘의 기본이 되는 Gradient Descent 알고리즘까지 직접 구현합니다.

Single-layer neural network의 원리와 구현 방법을 배웠으면, 보스턴의 부동산 관련 정보를 데이터로 정리한 Boston housing dataset 을 활용해 부동산의 집값을 예측하는 알고리즘을 Single-layer neural network로 구현합니다.

1회차에서는 Single-layer neural network를 활용해 Regression problem (우리가 예측하려는 값이 정수형이고, 그 높고 낮음을 예측하는 문제. 부동산이나 주식의 집값 예측 등)을 풀어보았습니다. 이번 회차에는 1회차에서 배운 내용을 응용하여, 예측하려는 값이 어느 분류에 속하는지를 판단하는 Classification problem (상품 카테고리 분류, 폐암의 양성/음성 여부 등)을 해결하는 Single-layer neural network를 구현합니다.

이후 우편번호의 필기체 이미지를 정리한 MNIST 데이터셋을 활용하여, 이미지에 아무런 사전 처리(preprocessing)를 거치지 않은 채 픽셀과 RGB 값만 넣으면 그 안에 그려져 있는 숫자를 스스로 인식하는 숫자 인식 알고리즘을 Single-layer neural network로 구현합니다.

Single-layer neural network는 굉장히 강력한 알고리즘이지만, 몇 가지 문제점을 가지고 있습니다. 이번 시간에서는 Single-layer neural network가 가지고 있는 가장 큰 문제점 중 하나인 XOR problem에 대해서 살펴보고, 이를 해결할 수 있는 다양한 방법, 그리고 이 방법을 활용해 Single-layer neural network에 Hidden Layer이라는 개념을 도입함으로써 알고리즘의 성능을 크게 개선한 Multi-layer neural network에 대해서 배웁니다.

이후 Multi-layer neural network를 활용하여 Single-layer neural network보다 더 강력한 이미지 인식 알고리즘을 구현해보고, 이 알고리즘을 2회 차에서 사용한 MNIST 데이터셋에 적용한 뒤 그 결과를 기존 방식과 비교합니다.

이번 시간부터는 딥러닝을 이미지에 적용하는 방법을 본격적으로 배웁니다. Multi-layer neural network를 이미지에 적용할 때 생기는 여러 가지 문제점(과다한 메모리 사용, 비효율적인 연산 등)을 살펴보고, 이 문제점을 Convolutional Layer와 Pooling Layer라는 개념을 도입하여 해결한 Convolutional neural network(이하 CNN)에 대해 배웁니다. 이후 CNN을 활용하여 MNIST 데이터셋에 적용한 뒤, 이 결과를 Multi-layer neural network와 비교합니다.

CNN을 배웠으면, 마지막으로 딥러닝을 활용한 이미지 분류의 발전사를 간략하게 살펴봅니다. CNN이라는 개념이 처음 공개되었던 1998년부터 지금까지 CNN이 어떻게 발전했는지 살펴보고, 이 과정을 통해 우리는 앞으로 무엇을 더 배워야 할지 정리합니다. CNN을 활용한 이미지 분류(Image Recognition)의 가장 기본이 되는 LeNet5(1998)부터, 딥러닝 혁명을 이끈 초기 모델인 AlexNet(2012), 이어지는 GoogLeNet(2014)과 VGGNet(2014), ResNet(2015)을 살펴보고, 마지막으로 ResNet을 더 개선한 WideResNet(2016), ResNeXt(2016), SENet(2017) 등에 대해서도 살펴봅니다.

오늘부터는 4회차에서 프리뷰한 내용을 바탕으로 CNN을 개선할 수 있는 구체적인 팁과 노하우를 하나하나 배웁니다.

먼저 우리가 지금까지 사용했던 sigmoid라는 Activation Function의 단점을 알아봅니다. sigmoid 함수의 양 끝에 도달하면 기울기(gradient)가 죽어버리는 현상, 그리고 Gradient Descent 알고리즘을 돌리면 우리가 업데이트해야 하는 weight가 지그재그로 업데이트되는 현상 등을 살펴봅니다. 이후 이 단점을 해결한 다른 대안들(tanh, ReLU, LReLU, PReLu, Leacky ReLU, ELU, Maxout, SReLU)과 그 구체적인 효과에 대해서도 배워봅니다.

이번 회차는 weight를 어떻게 초기화해야 하는지에 대해서 알아봅니다. weight는 우리가 딥러닝 알고리즘을 통해 실질적으로 구해야 하는 값이라고 볼 수 있는데, 이 weight를 올바르게 초기화한 뒤 업데이트를 시작하지 않으면 어떠한 문제가 일어나는지 간략하게 살펴봅니다.

이후 weight 초기화를 하는데 있어서 가장 중요한 요소 중 하나인 fan-in과 fan-out의 개념을 이해하고, 이 fan-in과 fan-out을 활용해 weight를 적절한 값으로 초기화할 수 있는 다양한 공식(Xavier Initialization, ReLU Initialization, etc)에 대해서 살펴봅니다. 마지막으로 위 방식과는 전혀 다른 개념으로 weight를 조정하여 딥러닝을 올바르게 학습시킬 수 있는 또 다른 알고리즘인 batch normalization에 대해 배웁니다.

오늘은 딥러닝 알고리즘을 빠르게 학습할 수 있는 Optimizer에 대해서 배웁니다. 이전까지 우리가 사용했던 알고리즘은 가장 기본적인 Optimizer인 Stochastic Gradient Descent(SGD)라고 볼 수 있습니다. 이번 시간에는 이 알고리즘에 가속도(momentum)라는 개념을 추가하는 방법, 그리고 변수(Feature)마다 학습 속도를 다르게 줌으로서 딥러닝 알고리즘이 다른 방향으로 튀지 않고 빠르게 학습하는 방법 등을 알아봅니다. 그리고 이 개념을 종합한 다양한 Optimizer(Momentum, Nesterov momentum, AdaGrad, RMSProp, Adam)에 대해 배워봅니다.

이후 여러 개의 딥러닝 모델을 섞어 씀으로써 결과적으로 딥러닝 모델의 한 층 끌어올릴 수 있는 Ensemble 방식과 그 원리에 대해 살펴보고, 이 개념을 응용하여 모델을 학습할 때마다 모델의 weight를 강제로 배제함으로써 Ensemble과 유사한 효과를 얻는 Dropout 알고리즘에 대해 배워봅니다.

마지막 수업에서는 딥러닝을 이용한 이미지 분류(Image Recognition)를 넘어서서, 우리가 찾길 원하는 이미지가 전체 이미지에 어느 부분에 있는지를 찾는 이미지 위치 탐색(Image Detection, Segmentation) 문제, 그리고 기존 데이터를 활용해 이미지를 새롭게 생성하는 이미지 생성(Image Generation) 문제에 대해 간략하게 살펴봅니다.

Image Detection 알고리즘은 우리가 찾고자 하는 이미지가 전체 이미지의 어떤 부분에 있는지를 찾는 일종의 위치 탐색 알고리즘입니다. 우선 딥러닝 이전에 쓰인 이미지 위치 검색 알고리즘과 이 알고리즘에서 발전한 Two-Stage Method(R-CNN, Fast R-CNN, Faster R-CNN, etc)에 대해서 살펴봅니다. 이후 딥러닝 이전에 쓰인 알고리즘을 배제한 체, 철저하게 딥러닝만으로 이미지의 위치를 탐색하는 One-Stage Method(YOLO, SSD, etc)를 살펴보고, One-Stage Method와 Two-Stage Method 방식의 장단점, 어떤 상황에서 어떤 알고리즘을 사용해야 하는지에 대해 배워봅니다.

Image Segmentation은 Image Detection과 유사합니다. 차이점은 Image Detection은 결과를 사각형 박스로 표현하지만, Image Segmentation은 결과를 픽셀 단위로 표현하기 때문에 더 디테일한 위치 표현이 가능합니다. 이번 시간에는 Mask R-CNN을 포함해, 딥러닝으로 구현한 다양한 Image Segmentation 알고리즘에 대해도 살펴봅니다.

마지막으로 Image Generation에서는 이미지 생성 알고리즘의 시초가 되었던 Autoencoder와 Variational Autoencoders, 그리고 2010년도 이후 가장 혁신적인 딥러닝 알고리즘이라 평가받는 GANs(Generative Adversarial Networks)의 개념과 그 원리를 살펴봅니다. 이후 GANs에서 발전한 몇몇 응용 알고리즘(DCGANs, LSGANs, Wasserstein GANs, Pro Gans, Cycle Gans, etc)을 하나하나 살펴보며 그 장단점, 어떠한 상황에서 어떤 알고리즘을 사용해야 하는지 이해합니다.

뛰어난 데이터 사이언티스트일수록 데이터를 완벽하게 이해할 때 까지 끊임없이 분석합니다. 첫 번째 주에는 예측 모델의 성능을 무리하게 끌어올리려 노력하기 보단, 데이터 분석과 시각화를 통해 데이터를 천천히 이해하려는 과정을 거칩니다. 파이썬의 데이터분석 패키지인 판다스(Pandas)와, 데이터시각화 패키지인 matplotlib, seaborn을 활용하여, 크게 다음의 질문에 대한 답변을 스스로 찾는 과정을 거칩니다.

• 총 몇 개의 범죄(ex: 절도, 살인)가 있으며, 가장 많이 일어나는 범죄 순으로 정렬하면 어떻게 되는가?
• 시간(Dates)을 기준으로, 가장 많이 범죄가 일어나는 시기는 언제인가? 그리고 연/월/일/시/분/초 기준으로 범죄와 가장 연관성이 높은 정보는 어떤 것인가? (정 반대로, 가장 연관성이 낮은 정보는 어떤 것인가?)
• 좌표나 주소상으로, 구체적으로 어떤 위치에서 어떤 범죄가 가장 빈번하게 발생하는가?
• 주어진 데이터는 신뢰할 수 있는가? 만일 신뢰할 수 없다면, 몇몇 신뢰할 수 없는 데이터는 어떻게 처리해야 하는가? (ex: 버리던가, 고치던가)

2주차에서는 샌프란시스코 경진대회를 더 깊게 분석합니다. 구체적으로는 다음의 내용을 중점적으로 다룰 것입니다.

• 정답(Label)을 분석합니다. 다양한 범죄 형태(ex: 절도, 살인 등)가 있는데, 각 범죄마다의 분포는 어떠한지, 발생 빈도의 차이가 있는지 분석합니다.
• 측정 공식(Evaluation Metric)을 이해합니다. San Francisco Crime Classification 경진대회에서는 log loss라는 측정 공식을 사용하는데, 이 측정 공식의 특징과, 이 공식을 San Francisco Crime Classification에 적용했을 때 발생하는 효과에 대해서 설명합니다.

위 내용을 바탕으로, 우리가 구현할 수 있는 가장 심플한 예측 모델을 구현합니다. 머신러닝 모델은 랜덤 포레스트(Random Forest), 그리고 랜덤 포레스트의 업그레이드 버전인 그래디언트 부스팅 머신(Gradient Boosting Machine)을 사용할 것이며, 가장 강력한 그래디언트 부스팅 머신의 구현체인 LightGBM을 사용할 것입니다.

이번 2주차의 목표는 1주차에 분석한 내용을 바탕으로 머신러닝 모델의 성능을 최대한 끌어올리는 것입니다. 단순히 보유한 데이터를 머신러닝 모델에 적용하는 것을 넘어서서, 보유한 데이터를 빼거나(Feature Selection), 고치거나 추가하는(Feature Extraction) 행위를 통해 머신러닝을 더 정교하게 만드는 과정을 거칩니다.

3주차에서는 분석과 시각화를 통해 데이터를 더 깊게 들어갑니다. 크게 다음의 내용을 중점적으로 다룰 것입니다.

• 시간(Dates) 데이터를 시각화한 뒤, 이 데이터를 신뢰할 수 있는지, 신뢰할 수 없다면 이를 고쳐서 머신러닝 알고리즘의 성능을 끌어올릴 수 있는지 분석합니다.
• 주소(Address) 데이터를 분석해서, 특정 장소에서 많이 발생하는 범죄가 있는지 분석합니다.

위 분석 내용을 바탕으로 예측 모델을 개선합니다. 모델에 도움이 되는 새로운 정보를 추가하거나, 정 반대로 도움이 되지 않는 필요 없는 정보를 제거하고, 사용중인 머신러닝 알고리즘을 튜닝하여 모델의 성능을 한 층 더 끌어올립니다.

이번 3주차의 목표는 San Francisco Crime Classification 경진대회의 상위 25% 안에 들어가는 것입니다. 보통 캐글에서는 데이터 사이언티스트로서 인정을 해줄 수 있느냐의 여부를 상위 25% 안에 진입했는지로 파악합니다. 이 정도 수준까지를 스스로의 힘으로 달성할 수 있는 것이 목표입니다.

경진대회 데이터에서 사용하기 가장 까다로운 컬럼 중 하나는 주소(Address)입니다. 이번 4주차에서는 주소 값을 분석하여 머신러닝 알고리즘에 집어넣는 방법을 배웁니다.

주소 값을 집어넣을 때의 문제점은, 데이터의 양도 많고(학습 데이터만 총 878,049개), 주소의 종류도 많기 때문에(총 23,228개) 용량이 너무 커서 머신러닝 모델에 집어넣을 수가 없습니다. 이를 극복하기 위해 먼저 다음의 방식으로 주소 데이터를 정리합니다.

1. 사실상 같은 주소이지만 다른 방식으로 표기되어 있는 값을 찾아 하나로 합칩니다.
2. 범죄가 자주 발생하지 않는 주소는 제거하거나 하나로 묶어줍니다.

이를 통해 총 23,228 종류의 주소를 1,483 종류까지 줄여줄 수 있습니다. 이후 주소 데이터를 효율적으로 저장하기 위해 희소 행렬(Sparse Matrix)의 저장 방식 중 하나인 Compressed Sparse Row (CSR) 행렬로 변환합니다. 이 방식을 통해 주소 데이터의 메모리 사용량을 획기적으로 줄일 수 있습니다.

마지막으로 주소 데이터를 집어넣은 머신러닝 알고리즘을 다시 한 번 튜닝합니다. 튜닝을 통해 모델의 정확도를 최대한으로 끌어올리며, 최종적으로 San Francisco Crime Classification 경진대회 상위 10% 안에 들 수 있도록 합니다. 보통 캐글 상위 10%에 드는 참석자를 현장에서 즉시전력으로 투입 가능한 인재라고 평가하는데, (참고자료 https://www.kaggle.com/progression) 마지막 주차에서 경진대회 상위 10% 안에 들 수 있다면 충분히 프로페셔널한 데이터 사이언티스트로 활동할 수 있는 인재라고 판단할 수 있습니다.