프로그래밍 언어 파이썬(Python)과 관련 데이터 분석 패키지를 학습하기. 학습이 끝난 후 Titanic: Machine Learning from Disaster 경진대회에 재도전.

2주차 수업에서는 본격적으로 데이터 분석을 배우며, 크게 다음의 툴을 학습합니다.

1. 프로그래밍 언어 파이썬(Python)
2. 파이썬의 데이터 분석 패키지 판다스(Pandas)
3. 파이썬의 인공지능&머신러닝 패키지 싸이킷런(scikit-learn)
4. 머신러닝 알고리즘 의사결정나무(Decision Tree)

위 네 개의 툴을 사용하는 법을 배웠다면, 마지막으로 1 ~ 4번을 조합하여 타이타닉 경진대회에 재도전합니다. 이번에는 엑셀이 아닌 파이썬을 활용하여 상위 25% (예측 정확도 78.947%)에 도전하며, 실습이 끝난 뒤에는 강사가 경진대회 상위 5% (예측 정확도 81.818%)에 도달할 수 있는 노하우를 공유합니다.

2주차에 학습할 툴에 대한 상세 설명은 다음과 같습니다.

파이썬

파이썬(Python)은 데이터 분석과 인공지능 분야에서 가장 많이 쓰이는 프로그래밍 언어입니다. 파이썬은 고레벨 프로그래밍 언어(High-Level Programming Language)답게 매우 직관적이면서 사람이 이해하기 쉬우며, 숙련자는 물론 프로그래밍 언어를 처음 접해보는 사람도 단기간에 배울 수 있습니다.

이번 수업에서는 파이썬의 다음 기능을 배울 것입니다.

• 파이썬의 기본 연산. 덧셈, 뺄셈, 곱셈, 나눗셈, 나머지 연산자 등.
• 파이썬의 비교 연산. 등호(==)와 부등호(!=), 이상, 이하, 미만, 초과 등.
• 파이썬의 변수. 변수를 할당하는 법과 사용하는 법 등.
• 파이썬의 다양한 데이터 타입. 숫자, 문자열(텍스트), 리스트(배열) 등.
• 파이썬의 제어문과 반복문. if-else와 for 등.
• 파이썬의 함수와 그 응용 등.

판다스

판다스(Pandas)는 파이썬에서 자주 쓰이는 데이터 분석 패키지입니다. 판다스에서는 엑셀에서 사용하는 기능을 그대로 쓸 수 있는데, 엑셀에 비해서 1) 대용량 데이터를 다루는 데 적합하며 (엑셀은 데이터의 용량이 100메가만 넘어가면 느려집니다), 2) 엑셀보다 훨씬 복잡한 기능을 코드 몇 줄로 구현할 수 있습니다. 3) 또한 파이썬을 기반으로 동작하기 때문에 데이터 분석 결과를 다양한 분야에 응용할 수 있습니다. (ex: 데이터베이스에 저장하기, 웹페이지에 띄우기, 머신러닝 알고리즘에 집어넣기 등)

이번 수업에서는 판다스의 다음 기능을 배울 것입니다.

• 판다스로 분석할 데이터를 읽어오고 저장하기.
• 판다스로 데이터의 행렬(row/column) 검색하기.
• 판다스로 데이터를 색인(indexing) 하기.
• 판다스로 데이터를 통계분석 하기. (pivot_table, crosstab, etc)
• 판다스로 데이터에 새로운 컬럼을 추가하거나 기존 컬럼값을 수정하기.
• 판다스로 복잡한 기능을 구현하기. (apply)

싸이킷런 + 의사결정나무

싸이킷런(scikit-learn)은 파이썬에서 인공지능&머신러닝에 관련된 알고리즘을 하나로 묶어놓은 패키지입니다. 싸이킷런을 활용하면 알고리즘을 직접 구현할 필요 없이, 이미 만들어진 구현체를 파이썬으로 가져와 사용하면 됩니다.

이번 수업에서는 싸이킷런의 대표적인 머신러닝 알고리즘인 의사결정나무(Decision Tree)를 활용할 것이며, 크게 다음 기능을 배울 것입니다.

• 싸이킷런에서 머신러닝 알고리즘을 가져오기.
• 가져온 알고리즘에 데이터를 넣어 학습(fitting) 시키기.
• 학습이 끝난 데이터로 특정 상황을 예측(predict) 하기.
• 의사결정나무(Decision Tree)의 분석 결과를 시각화해서 보기.

캐글의 새로운 경진대회 Bike Sharing Demand 참여하기.

• 타이타닉 경진대회에 이은 Bike Sharing Demand 경진대회 에 참석.
• 데이터 분석을 통해서 인사이트를 얻을 수 있는 탐험적 데이터 분석(Exploratory Data Analysis) 배우기.
• 팀을 짠 뒤 경진대회 실습. Bike Sharing Demand 상위 25%에 도전해보기.
• 실습이 끝난 뒤 강사의 시연으로 Bike Sharing Demand 상위 10% 후반에 진입하는 노하우를 배우기.

이번 시간에는 2주차에서 학습한 내용을 바탕으로 새로운 경진대회에 참가합니다. Capital Bikeshare 라는 워싱턴 D.C. 소재의 자전거 대여 스타트업에서 제공한 데이터를 바탕으로, 2011년도와 2012년도의 시간당 자전거 대여량을 예측하는 경진대회에 참석합니다.

기존에 참여한 타이타닉 경진대회와 전혀 달라 보이지만, 우리가 이전까지 배운 지식을 이번 경진대회에서도 그대로 활용할 수 있습니다. 여기에 더불어, 3주차에서는 데이터를 분석하여 그 결과를 머신러닝 알고리즘에 적용하는 탐험적 데이터 분석(Exploratory Data Analysis, 이하 EDA)에 대해서 배웁니다. 정확하게는 다음의 데이터 분석 노하우를 배울 것입니다.

• 기존에 보유하고 있는 데이터에서 새로운 정보를 추출하는 Feature Engineering.
• 기존에 보유하고 있는 데이터에서 필요 없는 정보를 제거하는 Feature Selection.
• 비어있는 값을 제거하거나, 전체 분포와 동떨어져 있는 아웃라이어(outlier)를 제거하는 Data Cleaning.
• 캐글(Kaggle)에 제출하지 않고도 현재 구현한 예측 모델의 정확도를 측정할 방법. (Cross Validation)

또한 3주차에는 의사결정나무(Decision Tree)의 업그레이드 버전인 랜덤 포레스트(Random Forest)를 학습합니다. 이 알고리즘은 대부분 의사결정나무보다 더 좋은 성능을 보장하는 강력한 알고리즘입니다. 이 알고리즘의 원리와 사용 방법을 배우면 더 정확한 예측 모델을 구현할 수 있습니다.

이번 실습의 최종 목표는 Bike Sharing Demand 경진대회의 상위 25% 안에 드는 것입니다. 2주차에서 배운 내용과 3주차에서 새롭게 배운 내용을 조합하면 어렵지 않게 상위 25%에 도달할 수 있습니다. 실습이 끝나면 마지막으로 강사의 시연을 통해 Bike Sharing Demand 경진대회의 상위 25%, 더 나아가서 10% 후반대에 도달할 수 있는 노하우를 공유합니다.

데이터 시각화(Data Visualization)를 배운 뒤, 다시 한번 Bike Sharing Demand 경진대회에 참석하기.

• matplotlib와 Seaborn을 활용한 데이터 시각화 실습하기.
• Bike Sharing Demand 경진대회에 재도전, 상위 10%에 도전해보기.
• 실습이 끝난 뒤 강사의 시연으로 Bike Sharing Demand 상위 5%에 진입하는 노하우를 배우기.

이번 시간에는 새로운 데이터 분석 방식인 데이터 시각화(Data Visualization)를 배웁니다. 데이터 시각화 패키지는 파이썬에서 가장 많이 사용하는 matplotlib와 Seaborn을 사용하며, 히스토그램(histogram)이나 bar plot, scatter plot 등의 시각화 방법과 그 결과를 해석하는 방법을 배웁니다.

데이터 시각화를 배웠으면 3주차에 이어 다시 한번 Bike Sharing Demand 에 도전합니다. 이번 실습에는 판다스(Pandas)를 활용한 데이터 분석 노하우와 matplotlib, Seaborn을 활용한 데이터 시각화 노하우를 병행합니다. 또한 이외에도 다음의 내용을 추가로 배울 것입니다.

• 예측 모델이 잘 만들어졌는지를 정량적으로 판단할 수 있는 측정 공식. (Evaluation Metrics)
• 머신러닝 알고리즘(ex: 랜덤 포레스트)을 튜닝하여 성능을 끌어올릴 수 있는 하이퍼패러미터 튜닝. (Hyperparameter Tuning)
• 측정 공식(Evaluation Metrics)을 분석하여 이에 맞게 데이터를 수정하거나 머신러닝 모델을 개선하는 노하우.

마지막으로 4주차에는 랜덤 포레스트(Random Forest)를 넘어서서, 가장 강력한 머신러닝 알고리즘인 그래디언트 부스팅 트리(Gradient Boosting Tree)를 배웁니다. 이 알고리즘은 1) 구조화된 데이터(Structured Data)에 한하여 언제나 최고의 성능을 보장하며, 2) 현장에서도 자주 쓰이는 매우 실용적인 알고리즘입니다. 이번 수업에서는 가장 뛰어난 그래디언트 부스팅 트리의 구현체인 XGBoost와 LightGBM을 사용합니다.

이번 실습의 최종 목표는 Bike Sharing Demand 경진대회의 상위 10% 안에 드는 것입니다. 일반적으로 캐글 경진대회에서 상위 10% 안에 진입한 사람은 프로페셔널한 데이터 사이언티스트로 간주합니다. (해당 참석자에게는 캐글에서 공인하는 동메달 마크가 부여됩니다) 만일 4주차 수업에서 스스로의 힘으로 상위 10%에 도달할 수 있다면, 데이터 사이언티스트로서 충분한 재능을 보유하고 있다고 판단할 수 있습니다.

실습이 끝나면 마지막으로 강사가 간단한 시연을 통해 Bike Sharing Demand 경진대회의 상위 5% 이내에 진입할 수 있는 노하우를 공유합니다. 캐글에서는 상위 5%에 진입한 사람을 프로 중에서도 특출나게 뛰어난 데이터 사이언티스트로 간주합니다. (해당 참석자에게는 캐글에서 공인하는 은메달 마크가 부여됩니다) 입문반 수업을 통해 경진대회 상위 5%의 노하우를 습득할 수 있다면, 데이터 사이언티스트 되는 데 필요한 지식은 거의 습득했다고 가정해도 무방합니다.

마지막으로 수업이 끝난 뒤, 수강생분들이 앞으로 스스로 공부를 하는 데 도움이 될 자료를 공유합니다. 파이썬, 판다스, 인공지능&머신러닝을 추가로 공부하는 데 도움이 될 서적과 인터넷 자료를 소개하고, 다른 경진대회에 도전하고 싶은 분들을 위해 추천할만한 주요 캐글 경진대회를 소개합니다. 또한, 해당 경진대회 상위권에 도달할 수 있는 다양한 팁을 공유한 뒤 수업을 마무리합니다.

과정 소개 및 테스트 주도 개발을 활용한 웹 페이지 크롤러 구축 시연.

• 강사 소개.
• 프로그래밍 언어 파이썬과 테스트 주도 개발(TDD) 방법론을 활용해서 누구나 간단하게 웹페이지 크롤링하는 법을 배우기.
• 앞으로 4주간의 주제와 배워야 할 것, 최종 목표를 잡기.

DS School 프로그래밍 입문반에서 처음 다룰 대주제는, “왜 같은 프로그래밍 언어인 파이썬을 쓰는데 잘하는 프로그래머와 그렇지 않은 프로그래머 간의 격차가 생기며, 이 차이가 결국 연봉의 차이로 이어질까?"를 깨닫는 것입니다.

전통적인 소프트웨어 교육 과정에서는 이 부분을 명확하게 설명해주지 않습니다. (그리고 학문적으로 깊게 다루지도 않습니다) 그래서 대부분의 컴퓨터공학과 출신은, 이를 수업이 아니라 중간/기말 과제에서 맨땅에 헤딩하듯이, 그리고 취업 후에도 1~2년간 독학으로 깨우치게 됩니다.

시대는 변하여, 같은 프로그래밍 언어를 사용함에도 성과와 연봉 테이블의 차이가 나는 이유를 궁금해하는 사람들이 생겨나기 시작했고, 이 생산성(Productivity)의 차이를 줄이기 위한 여러 가지 학습 방법론을 제시했습니다. 이 과정에서 나온 가장 효과적인 소프트웨어 개발 방법론이 바로 테스트 주도 개발(TDD)입니다.

그런 의미에서, 이번 수업에서는 테스트 주도 개발(TDD)이 무엇인지, 왜 이 방법론이 개발자의 생산성을 늘려주며, 어떠한 과정을 통해 여러분들을 초심자에서 현업 프로그래머로 바꿔줄 수 있는지 강사가 시연을 통해 보여드립니다. 이번 시연에서는 유명 전자상거래 회사(쿠팡, 지마켓 등) 또는 SNS(인스타그램, 페이스북 등)의 정보를 자동으로 수집하는 웹 크롤러를 TDD로 구현해볼 생각입니다. 이 시연에서 여러분들에게 보여드리고 싶은 부분은 다음과 같습니다.

• 큰 기능을 구현해야 할 경우, 이 기능을 한 번에 구현하지 않고 작게 쪼개서 구현하는 방법을 보여드립니다. 가령 전자상거래(ex: 쿠팡, 지마켓) 서비스의 상품 정보를 크롤링한다면, 처음부터 모든 페이지를 크롤링할 필요 없이 1) 상품 정보 페이지, 2) 특정 카테고리의 상품 리스트 페이지, 3) 전체 카테고리 페이지 순으로 크롤링하면 됩니다. 그 과정에서 겹치는 기능이 있다면 이를 자연스럽게 모듈화해서 재활용하는 방법도 알려드립니다.
• 어떠한 기능을 구현했을 때, 이 기능이 지금뿐만 아니라 앞으로도 잘 동작하도록 구현하는 방법을 알려드립니다. 가령 인스타그램을 크롤링한다고 했을 때, 인스타그램의 디자인이 바뀌면 크롤러가 동작하지 않을 수도 있습니다. 이 경우 1) 크롤러가 동작하지 않는다는 사실을 빠르게 파악해야 하고, 2) 구체적으로 인스타그램 전체 디자인의 어떤 부분이 바뀌어서 문제가 생겼는지 파악해야 합니다. 이를 위해 단위테스트(unit test)라는 걸 작성하는 법을 보여드립니다.
• 기존에 배우지 않은 새로운 기능을 파이썬에서 사용해야 할 때, 이를 빠르게 구글에 검색해서 관련 문서를 찾고 활용하는 법을 배웁니다. 이 노하우만 배우면 여러분들은 특정 분야에 구애받지 않고 모든 분야를 아우를 수 있는 개발자가 될 수 있습니다.

이 시연을 전부 보게 되면, 파이썬과 TDD의 기본만 배우면 누구나 프로그래밍으로 크롤러를 구현할 수 있다는 사실을 깨닫게 될 것입니다. 그리고 이를 배우는 앞으로의 3주간의 과정에 대해서 자세히 설명을 드린 후, 수업을 마무리합니다.

2주차 수업에서는 모든 프로그래밍의 기본이 되는 프로그래밍 언어에 대해 배웁니다. 수업에서는 가장 현대적이고 대중적인 프로그래밍 언어 중 하나인 파이썬(Python)에 대해 배울 것이며, 간단한 문법과 원리를 배운 뒤 바로 파이썬을 실생활에 응용할 수 있는 간단한 문제를 풀어봅니다.

이번 수업에서 중점적으로 다루고 싶은 내용은 다음과 같습니다.

• 파이썬의 기본 연산. 덧셈, 뺄셈, 곱셈, 나눗셈, 나머지 연산자 등.
• 파이썬의 비교 연산. 등호(==)와 부등호(!=), 이상, 이하, 미만, 초과 등.
• 파이썬의 변수. 변수를 할당하는 법과 사용하는 법 등.
• 파이썬의 다양한 데이터 타입. 숫자, 문자열(텍스트), 리스트(배열) 등.
• 파이썬에서 에러가 발생하는 경우, 그리고 에러가 발생했을 때, 이를 어떻게 하면 빠르고 효율적으로 해결할 수 있는지 배웁니다.
• 파이썬의 제어문과 반복문. if-else와 for 등.
• 파이썬의 함수와 그 응용 등.

마지막으로 프로그래밍 문법을 복습하고 이를 실생활에 응용할 수 있는 간단한 프로그래밍 과제를 함께 풀어봅니다. 이번 과제에서는 수강생에게 상품 데이터와 구매 데이터가 주어졌다는 가정하에, 고객의 다수의 상품을 구매했을 때 할인 정보와 기타 혜택을 계산한 최종 매출을 자동으로 계산하는 프로그램을 만들 것입니다. (그리고 이를 엑셀에 자동으로 집어넣는 법까지 알려드립니다) 이 과정에서 여러분들이 배울 수 있는 내용은 다음과 같습니다.

• 파이썬의 기본 수학 연산. 상품 가격과 구매량으로 매출을 계산하고, 그 과정에서 할인 조건과 각종 혜택이 들어갈 경우의 최종 가격을 산정합니다.
• 파이썬의 분기(if 문)와 반복문(for 문). 이를 활용해서 다양한 할인 조건을 구현합니다. 특정 할인 혜택이 들어갈 경우 그에 맞게 가격을 차감해야 합니다.
• 함수로 기능을 모듈화. 매출은 반복적으로 계산해야 하기 때문에, 이를 함수로 모듈화해서 언제든지 재활용할 수 있도록 합니다.
• 테스트 주도 개발(TDD)의 기본. 할인 조건을 한 번에 풀지 않고 하나하나 구현하는 법을 배웁니다. 그리고 특정 할인 조건을 구현할 때, 다른 할인 조건을 구현한 코드에 영향이 없도록 구현하는 법을 배웁니다.

이 과제를 전부 구현하였으면, 마지막으로 이 계산 결과를 엑셀에 자동으로 집어넣는 부분까지 구현하고 수업을 마무리합니다.

2000년대 이후로 소프트웨어 개발의 난이도는 현격히 낮아지고 있습니다. 그러면서 자연스럽게 프로그래밍 언어는 대중화되고, 동시에 하나의 프로그래밍 언어가 많은 기능을 포함하기 시작했습니다.

그렇기에 요즘은 프로그래머에게 하나의 분야(ex: 웹, 모바일 등)가 아닌, 여러 분야를 담당하는 개발자가 되기를 기대하는 시대가 오고 있습니다.

하지만 아무리 뛰어난 프로그래머라도 파이썬이라는 방대한 프로그래밍 언어에 존재하는 모든 기능을 배우는 것은 불가능합니다. 그렇다면 개발자는 어떻게 여러 분야를 동시에 개발할 수 있을까요? 방법은 간단한데, 아직 배우지 않은 분야에 대한 문서와 튜토리얼을 빠르게 읽고 습득하는 능력을 갖추고 있기 때문입니다.

이번 수업에서는 2주차에서 배운 내용을 바탕으로, 지금까지 내용이 아닌 새로운 기능을 스스로 배우기 위해서는 어떤 게 필요한지 살펴보겠습니다. 3주차의 주제는 텍스트 처리입니다. 주어진 텍스트 데이터를 다루되, 이를 1, 2주차 수업에서 배우지 않았음에도 스스로 빠르게 자료를 찾아 배우는 법을 공부합니다.

이를 위해서 주어진 신문 기사를 바탕으로, 특정 기사에 담겨있는 텍스트를 분석하는 방법을 배웁니다. 가령 신문 기사에 특정 키워드만 담긴 게시물만 검색하거나, 키워드 간의 중요도를 바탕으로 신문 기사의 우선순위를 산정하는 것도 배울 것입니다. 이후 해당 신문 기사를 작성한 기자분의 이메일로 PR 자료를 전송하는 이메일 자동 전송 프로그램까지 구축할 것입니다.

이번 수업에서 여러분들에게 알려드리고자 하는 내용은 다음과 같습니다.

• 갑작스럽게 파이썬의 새로운 기능을 사용해야 할 경우, 이 기능을 빠르게 구글에서 검색한 뒤 문서와 튜토리얼을 찾아서 빠르게 습득하는 법. 가령 신문 기사가 저장된 파일을 파이썬으로 읽어와야 한다면 이를 구글에서 빠르게 검색해서 습득하는 법을 배웁니다.
• 구현해야 하는 기능이 크고, 다양한 기능(신문 기사, 파일 읽어오기, 텍스트 처리, 이메일 전송)이 복잡하게 얽혀있을 때 이를 어떻게 쪼개서 하나씩 만드는지 배웁니다. 가령 저라면 모든 기능을 한 번에 만들지 않고, 1) 신문 기사 예시 몇 개를 가져와 키워드 검색 기능을 만들고, 2) 파일 로딩 기능을 만든 뒤, 3) 이메일 전송 기능을 만든 뒤, 4) 1, 2, 3번 기능을 하나로 합치는 방식으로 구현할 것입니다.
• 이 과정에서 1, 2, 3번(텍스트 처리, 파일 읽어오기, 이메일 전송)을 어디서나 붙일 수 있도록 모듈화하는 법을 배웁니다. 모듈화를 잘해야 세 가지 기능을 문제없이 연결할 수 있고, 차후 기능을 재활용할 수 있습니다. 가령 이메일을 전송하는 모듈은 이번 기능 외에도 다른 기능을 구현할 때 재활용 할 수 있습니다. (ex: 고객에게 단체로 신규 상품에 대한 공지 메일 보내기)

마지막 주차는 지금까지 배운 내용을 활용하여, 강사나 조교의 도움을 최대한 받지 않고 스스로 웹페이지에서 정보를 읽어오는 크롤러 시스템을 만들어보겠습니다. 이번에는 SNS 페이지(ex: 트위터, 페이스북, 인스타그램)에서 정보를 읽어와서 엑셀로 저장하는 법을 배우겠습니다.

이번 수업에서 배우고자 하는 내용은 다음과 같습니다.

1. 웹 페이지를 파이썬에서 읽어오기 - 우리가 브라우저로 웹 페이지에 접속하는 것처럼, 파이썬으로도 웹 페이지에 직접 접속할 수 있습니다. 이번 수업에서는 파이썬으로 웹 페이지에 접속한 뒤 데이터를 읽어오는 법에 대해 배울 것입니다.
2. 웹 페이지의 기본을 이해하기 - 웹페이지는 기본적으로 HTML이라는 태그(h3, p, span, etc)로 구성되어있습니다. 이 태그가 어떤 역할을 하는지 살펴보고, 동시에 HTML 외에 웹페이지를 구성하는 나머지 요소(CSS, Javascript)도 간략하게 살펴보겠습니다.
3. 웹 페이지에서 정보를 읽어오는 법을 배우기 - 웹페이지의 개념을 이해하고 이를 파이썬으로 읽어오는 법을 배웠으면, 나머지는 웹 페이지에서 특정 부분(ex: 제목, 내용, 해시태그, etc)의 정보를 읽어오는 법을 배워보겠습니다.

또한 파이썬 기능 외적으로도 다음의 습관을 쌓는 법을 배울 것입니다.

• 웹 페이지를 크롤링할 때, 한 번에 모든 페이지를 읽지 않고 하나하나 크롤링하기 - 가령 SNS 포스팅 전체를 한 번에 읽는게 아니라, 1) 제목, 2) 작성자, 3) 내용, 4) 해시태그 순으로 하나하나 만들면 빠르게 크롤러를 만들 수 있습니다.
• 만든 크롤러를 앞으로도 잘 동작하게 하기 - 웹 크롤러를 만들 때 가장 큰 고민거리는, 크롤링한 페이지의 디자인이 변경되었을 경우 크롤러가 정상적으로 동작하지 않는다는 점입니다. 이를 위해 1) 크롤러가 동작하지 않을 때 빠르게 이 문제를 파악하고, 2) 전체 페이지에서 구체적으로 어떤 부분의 디자인이 변경되어서 정상적으로 동작하지 않는지 빠르게 파악하는 법을 배우겠습니다.
• 크롤러를 다른 분야에도 재활용 할 수 있게 하기 - 크롤러를 하나 만들었다면, 자연스럽게 다른 웹페이지에도 크롤러를 사용할 수 있습니다. 이를 위해 크롤러를 모듈화해서 다른 웹페이지(ex: 신문기사, 전자상거래 페이지)에도 손쉽게 적용하는 방법을 배워보겠습니다.

크롤러를 다 만들었다면, 이 크롤러를 응용해서 SNS에 게시글을 올리는 일명 봇(bot)을 구현하는 방법까지 배우고 수업을 마무리합니다.

수업을 마무리하면, 마지막으로 앞으로 수강생분들이 스스로 프로그래밍을 공부하는데 도움이 되는 자료를 공유합니다. 파이썬의 다양한 추가 기능부터, 크롤러의 추가 기능을 만들때 고려해야 하는 사항. 기타 프로그래밍으로 만들 수 있는 다양한 기능(웹 개발, 이미지 처리, 데이터베이스 접근, 데이터분석 시각화 및 머신러닝 등)을 스스로 공부할 수 있는 추가 자료를 제공해드립니다.

첫 수업에서는 데이터 분석의 기본을 배웁니다. 데이터 분석(Data Analytics)의 의미와 역할, 데이터 분석을 통해 얻을 수 있는 것을 배운 뒤, 파이썬의 데이터 분석 패키지 판다스(Pandas)를 학습합니다.

판다스(Pandas)를 사용하면 대용량의 데이터를 효율적으로 분석할 수 있고, 복잡한 분석도 파이썬을 활용해 간단하게 처리할 수 있습니다. 수업에서는 판다스의 가장 기본적인 데이터 형식인 데이터프레임(DataFrame)의 사용법부터, 데이터에서 행렬을 가져오고, 색인하고, 정렬하고, 잘못된 데이터를 정리하는 법 등을 배웁니다.

판다스(Pandas)를 배웠으면, 이번에는 프리랜서 오픈마켓 서비스 크몽(Kmong)의 데이터를 가져와서 정리하는 데이터 클리닝(Data Cleaning)을 진행한 뒤, 다음의 질문에 대해 데이터에 기반한 답을 제시합니다.

• 크몽 사용자의 웹 행동 데이터, 그리고 앱 행동 데이터를 정리하기 - 크몽의 고객들은 웹, 아이폰, 안드로이드등 다앙한 디바이스와 OS로 서비스를 이용하고 있습니다. 이 디바이스에서 쌓인 내용을 분석할 수 있도록 깔끔하게 정리한 뒤, 여러 개로 나누어진 데이터를 판다스의 merge나 concat등을 활용해 하나로 묶어주는 작업을 할 것입니다.
• 크몽 사용자들의 유입 경로, 검색 키워드를 분석하기 - 크몽의 고객들은 네이버나 페이스북 등 다양한 경로를 통해 서비스를 방문합니다. 이 사용자들이 어떤 채널(네이버, 페이스북, etc)을, 어떤 키워드나 컨텐츠를 통해 방문할는지 분석을 할 수 있다면 마케터들이 신규 광고 컨텐츠를 만들거나 검색 키워드를 늘리는데 도움을 줄 수 있을 것입니다.
• 크몽 사용자들의 구매 루트 분석하기 - 크몽의 고객들이 서비스에 유입되었다면, 무언과의 과정을 통해 컨텐츠를 살펴보고, 검토한 뒤 구매를 결정했을 것입니다. 이 과정에서 고객이 구매를 결정할 수 있었던 요소를 분석할 수 있다면, 서비스 차원에서 이를 더 강조하거나 부족한 부분을 충원한다면 고객들이 구매를 결정하는 데 도움을 줄 수 있고, 이는 서비스의 매출 증대로 이어질 수 있을 것입니다.

두 번째 수업에서는 판다스(Pandas)의 심화 기능을 다룹니다. 데이터를 정렬하거나, 그룹화하는 방법 등을 배우고, 피벗 테이블(pivot table)을 활용해 데이터를 통계분석 하는 노하우 등도 배웁니다. 마지막으로 여러 개로 나누어진 데이터를 merge, join, concat 등의 기능을 활용해 하나로 합쳐서 분석하는 노하우도 다룹니다

판다스의 심화 기능을 모두 배웠으면, 이번에는 헬스케어 스타트업 눔(Noom)의 데이터를 활용해 분석을 시작합니다. 먼저 잘못된 회원 정보(몸무게가 너무 높거나, 키가 너무 작거나)를 정리하는 데이터 클리닝(Data Cleaning)을 진행한 뒤, 다음의 질문에 대해 데이터에 기반한 답을 제시합니다.

• 눔(Noom)을 사용하는 무료 사용자들은 주로 어느 시간대에 유료 사용자로 전환하는가? (ex: 새벽, 낮, 주중, 주말) - 이 사실을 알 수 있다면, 해당 시간대에 유료 서비스 구매를 촉진하는 이메일을 보냄으로써 회사의 매출을 올릴 수 있습니다.
• 눔(Noom)을 사용하는 무료 사용자 중, 유료 사용자로 전환할 확률이 가장 높은 연령/성별은 어디인가? - 이 사실을 알 수 있다면, 해당 연령/성별에 집행하는 마케팅 예산을 늘릴 수 있습니다. (가령 30대 여성이 유료 결제 확률이 높다면, 페이스북에서 30대 여성에게 광고를 더 많이 보여줘야겠죠) 반면 정 반대의 경우에는 마케팅 예산을 줄임으로써 더 효율적인 마케팅을 할 수 있습니다. (가령 50~60대 남성은 유료 결제 확률이 낮다면, 페이스북 마케팅에서 이분들에게는 광고를 노출하지 않는 것도 좋은 방법입니다)
• 유료 사용자를 코칭하는 코치 중, 어느 코치가 가장 만족도가 높은가? - 만족도가 높은 기준은 사용자가 계속 유료 서비스를 이용하는가로 판단할 수 있습니다. 즉, 고객 이탈률(churn rate)이 가장 낮은 코치가 가장 뛰어난 코치라고 판단할 수 있습니다. 반면, 고객 이탈률(churn rate)이 높은 코치일수록 사용자가 가장 불만족스러워한다고 판단할 수 있습니다.

세 번째 수업에서는 데이터를 저장하고 처리하는 전문 프로그램인 데이터베이스(Database), 그리고 이 데이터베이스에서 데이터를 가져올 수 있는 전용 프로그래밍 언어인 SQL(Structured Query Language)에 대해 집중적으로 배웁니다.

가장 기본적인 SQL 문법인 SELECT를 통해 데이터를 가져오는 법 부터 시작해, 정렬(ORDER BY), 색인(WHERE) 등을 포함한 응용도 함께 배웁니다. 또한 여러 개의 데이터를 SQL를 활용해 하나로 합치는 JOIN에 대해서도 집중적으로 다룰 것입니다.

SQL을 다루는 법을 배웠으면, 이번에는 데이터사이언스 교육 스타트업 DS School의 마케팅 데이터와 결제 데이터를 분석합니다. 분석 목표는 어느 마케팅 채널이 가장 효율적이며, 반대로 어느 마케팅 채널이 가장 효율적이지 않은가? 입니다. 효율적인 마케팅 채널이 있다면 해당 채널에 마케팅 예산을 집중하고, 반면에 효율적이지 않은 채널이 있다면 해당 마케팅 채널에 집행한 예산을 줄일 수 있습니다. 마케팅 효율에 대한 구체적인 질문은 다음과 같습니다.

• DS School의 수강생은 어떠한 목적을 달성하기 위해 수업을 신청하였는가? - DS School 수강생의 구매 전 설문 조사를 바탕으로 이 내용을 분석할 수 있습니다. 이 분석 결과를 바탕으로 수업의 내용을 변경하거나, 난이도를 조정하거나, 수강생의 니즈에 맞는 신규 커리큘럼을 만드는 것도 가능합니다.
• DS School이 보유한 마케팅 채널 중 가장 효율이 높은 채널은 어떤 것인가? - DS School은 주로 페이스북 마케팅을 활용하는데, 이 채널당 고객 획득 비용(Customer Acquisition Cost, 이하 CAC)과 고객 생애 가치(Customer Lifetime Value, 이하 LTV)를 계산한 뒤 LTV/CAC 비율이 가장 효율적인 마케팅 채널 순으로 정렬합니다. 가장 효율이 높은 채널을 파악할 수 있다면, 이 채널에 예산을 집중하거나 이 채널이 효과가 좋은 이유를 분석해서 새로운 마케팅 채널과 컨텐츠를 생성할 수 있습니다.
• DS School의 매출 변화는 어떻게 되는가? - DS School의 강연이 가장 잘 팔리는 시기(시간, 내지는 주중/주말 등)를 파악한 뒤 그 시기에 구매를 유도하는 이메일을 발송할 수도 있고, 현재의 매출 변화량을 바탕으로 누적 매출이나 예상 매출 등을 리포트 방식으로 시각화시킬 수도 있습니다.

네 번째 수업에서는 앞서 배운 판다스와 SQL 노하우와 더불어, 데이터를 시각화한 뒤 이 결과를 바탕으로 결론을 도출하는 방법을 배웁니다.

데이터 시각화는 주어진 데이터를 직관적으로 표현할 수 있다는 장점이 있으며, 그렇기 때문에 분석 결과를 다른 사람에게 이해시키고 설득할 수 있도록 도와줍니다. 하지만 효과적이고 직관적인 데이터 시각화를 위해서는, 이를 위한 적절한 시각화 그래프나 도표를 사용해야 합니다.

이번 수업에서는 파이썬의 데이터 시각화 패키지인 seaborn이나 matplotlib등을 활용하여 데이터를 분석하고 시각화 할 수 있는 방법을 배웁니다. 이 방법을 활용하면 파이썬과 판다스, 쥬피터 노트북으로 직관적이고 편리한 시각화 대시보드를 구현할 수 있습니다.

데이터 시각화를 배웠다면, 다음으로는 국내 최대의 여성 의류 쇼핑몰 플랫폼 지그재그(ZIGZAG)의 고객 행동 패턴을 분석합니다. 이번 목표는 사용자의 액티비티를 바탕으로 고객의 니즈나 주요 여성 의류 쇼핑몰들의 특징을 분석하는 것입니다. 또한 이번 수업에서는 데이터 분석가를 위한 분석뿐만 아니라, 기획자, 마케터, 내지는 팀 내의 의사결정권자에게 데이터를 직관적으로 이해시킬 수 있는 시각화 방법을 배울 것입니다. 구체적인 분석은 다음과 같습니다.

• 고객들은 지그재그에서 어떠한 과정을 거쳐서 상품을 구매하는가 - 이러한 행동 패턴을 분석하면 고객의 구매 루트를 최적화하거나, 구매하지 않고 이탈할 사용자를 붙잡아서 매출을 증대할 수 있습니다.
• 고객들이 선호하는 여성 의류 쇼핑몰들은 어디인가? - 이 사실을 파악할 수 있으면, 고객이 서비스를 이용하는 과정 중에 (내지는 이용 후에 이메일을 통해) 쇼핑몰이나 상품을 추천한 뒤 고객에게 상품을 업셀(up sell, 추가로 구매하도록 유도)할 수 있습니다.

모든 수업이 모두 끝나면, 여태까지 분석한 컨텐츠 외의 추가 과제가 수강생들에게 제공될 것입니다.

추가 과제는 1) 지그재그 2) 크몽 데이터를 활용한 추가 과제가 주어집니다. 만일 데이터분석가로 취업하거나 이직하길 원하는 분들이 있다면, 해당 과제를 푼 뒤 이력서와 함께 제출하면 관련 자료가 각각의 스타트업으로 전달됩니다.

전달 후 스타트업 담당자분의 검토를 거쳐, 데이터분석가로서 활동할 수 있는 충분한 소질이 있다고 판단될 경우 본격적으로 면접 진행 절차를 밟게 될 것입니다.

머신러닝의 기본 개념에 대한 설명, 의사결정나무(Decision Tree)의 알고리즘의 이론과 실제 구현을 해보기

• 머신러닝 알고리즘에 대한 설명. 지도학습(Supervised Learning)과 비지도학습(Unsupervised Learning)에 대한 설명
• 주로 어떤 데이터셋에 어떤 알고리즘을 사용하는가? 구조화된 데이터셋(Structured Dataset) vs 비구조화된 데이터셋(Unstructured Dataset)을 중심으로 설명
• 의사결정나무(Decision Tree)의 이론에 대한 설명. 그리고 의사결정나무(Decision Tree) 알고리즘을 실제 구현해보기

첫 번째 수업에서는 머신러닝 알고리즘에 대한 기본적인 설명부터 시작합니다. 머신러닝의 기본 개념인 지도학습(Supervised Learning)과 비지도학습(Unsupervised Learning)에 대해 살펴보고, 그 차이점과 장단점에 대해 살펴봅니다. 또한 데이터셋마다 가장 효과를 낼 수 있는 알고리즘에 대해 살펴보며, 주로 구조화된 데이터셋(Structured Dataset)과 비구조화된 데이터셋(Unstructured Dataset)을 중심으로 살펴봅니다.

이후 첫 번째 머신러닝 알고리즘으로, 가장 기초적인 알고리즘 중 하나인 의사결정나무(Decision Tree)에 대해 살펴봅니다. 의사결정나무의 기본적인 동작 방식과, 의사결정나무 알고리즘의 핵심이 되는 지니 불순도(Gini Impurity)에 대해서 다룹니다. 이후 프로그래밍 언어 파이썬을 통해 의사결정나무를 직접 작성하고 실행해봅니다.

앙상블(Ensemble) 알고리즘을 통해 의사결정나무의 성능을 업그레이드하기

• 앙상블(Ensemble) 알고리즘에 대한 설명.
• 앙상블 알고리즘의 일종인 배깅(Bagging, 내지는 Bootstrap Aggregating)의 원리를 알아보고, 이를 의사결정나무(Decision Tree) 알고리즘에 적용한 새로운 알고리즘 랜덤 포레스트(Random Forest)에 대해 알아보기
• 마찬가지로 앙상블 알고리즘의 일종인 부스팅(Boosting)과 그래디언트 부스팅(Gradient Boosting)의 원리를 알아보고, 이를 의사결정나무(Decision Tree) 알고리즘에 적용한 그래디언트 부스팅 머신(Gradient Boosting Machine)에 대해 알아보기.

2주 차에서는 여러 개의 머신러닝 모델을 섞어서 성능을 끌어올리는 앙상블(Ensemble) 알고리즘에 대해 살펴봅니다. 가장 유명한 앙상블 알고리즘인 배깅(Bagging)과 부스팅(Boosting), 그리고 부스팅의 업그레이드 버전인 그래디언트 부스팅(Gradient Boosting)에 대해서 살펴보고, 이 앙상블 알고리즘 간의 차이점과 장단점을 살펴봅니다.

이후 이 앙상블 알고리즘을 의사결정나무(Decision Tree) 알고리즘에 적용합니다. 먼저 의사결정나무에 배깅(Bagging) 알고리즘을 적용한 랜덤 포레스트(Random Forest)에 대해 살펴보고, 마찬가지로 그래디언트 부스팅(Gradient Boosting) 알고리즘을 적용한 그래디언트 부스팅 머신(Gradient Boosting Machine)을 살펴봅니다. 이후 프로그래밍 언어 파이썬을 통해 이 알고리즘들을 직접 작성하고 실행해봅니다.

가장 강력한 그래디언트 부스팅 머신(Gradient Boosting Machine) 구현체인 XGBoost, LightGBM, CatBoost를 살펴보고 이 알고리즘을 튜닝하는 방법을 배우기

• 그래디언트 부스팅 머신(Gradient Boosting Machine)의 다양한 구현체에 대한 설명
• 왜 이 구현체를 사용하는 것이 그래디언트 부스팅 머신(Gradient Boosting Machine)를 직접 구현하는 것보다 성능이 좋은가?
• 가장 강력한 그래디언트 부스팅 머신(Gradient Boosting Machine)의 구현체 비교: XGBoost, LightGBM, CatBoost.
• 그래디언트 부스팅 머신(Gradient Boosting Machine)의 하이퍼패러미터(Hyperparameter)에 대해 살펴보기
• 하이퍼패러미터(Hyperparameter)를 튜닝하는 다양한 방식을 살펴보기

3주 차에서는 머신러닝을 실용적인 관점에서 접근합니다. 먼저 그래디언트 부스팅 머신(Gradient Boosting Machine)을 사용하기 쉽도록 구현한 세 가지 파이썬 패키지(XGBoost, LightGBM, CatBoost)를 살펴본 뒤 이 패키지들의 장단점에 대해 살펴봅니다. 또한 왜 기존의 그래디언트 부스팅 머신 패키지(ex: scikit-learn)에 비해 XGBoost, LightGBM, CatBoost이 더 성능이 좋은지도 살펴봅니다.

이후 그래디언트 부스팅 머신(Gradient Boosting Machine)의 성능을 튜닝할 수 있는 하이퍼패러미터(Hyperparameter)에 대해 다룹니다. 가장 중요한 하이퍼패러미터들(ex: 트리의 깊이, 갯수 등)과 이 역할, 각각의 튜닝 방식에 대해 살펴보고, 마지막으로 모든 하이퍼패러미터를 동시에 튜닝하는 방법(ex: Grid Search, Random Search)에 대해 살펴봅니다.

지금까지 배운 지식을 총동원하여, 데이터 사이언스 경진대회 캐글(Kaggle)에 참여하여 상위권 성적을 노리기.

• 데이터 사이언스 경진대회 캐글(Kaggle) 소개.
• 캐글 Otto Group Product Classification Challenge 경진대회 소개
• 그래디언트 부스팅 머신 + 하이퍼패러미터 튜닝으로 캐글 경진대회 상위권에 도전하기

마지막 4주 차에는 그래디언트 부스팅 머신(Gradient Boosting Machine)을 실전에 적용해봅니다. 데이터 사이언티스트들이 참여하는 온라인 경진대회 캐글(Kaggle)에 도전하며, 주어진 정보를 활용해 전자상거래(ex: 쿠팡, 11번가) 서비스의 상품을 분류하는 Otto Group Product Classification Challenge에 참여합니다.

이 경진대회에서는 데이터를 분석하는 스킬도 중요하지만, 그보다 머신러닝 알고리즘에 대한 이해와 하이퍼패러미터 튜닝 방법을 숙지하는 것이 더 중요합니다. 이번 경진대회에서의 목표 등수는 상위 10%입니다. 보통 캐글에서는 상위 10% 안에 든 참석자를 현장에서 당장 일할 수 있는 실력을 갖추었다고 평가하는데, 만일 스스로의 힘으로 상위 10% 안에 들 수 있다면 수업을 충분히 따라왔다고 볼 수 있고, 머신러닝에 관해서는 당장 즉시 전력으로 현장에 투입될 수 있는 실력을 갖췄다고 볼 수 있습니다.

• 데이터베이스의 기본 개념과 SQL(Structured Query Language)의 뜻.
• 데이터베이스의 기본 구조. 테이블, 행과 열, 기본키(primary key)와 외래키(foreign key) 등.
• 가장 기본적인 SQL 쿼리문(SELECT, INSERT, UPDATE, DELETE) 배우기.
• 페이스북(Facebook)의 사용자 프로필을 바탕으로 필요한 정보를 가져오는 SQL 쿼리를 작성하기.

첫 수업에서는 데이터베이스(Database)가 어떤 것인지에 대한 기본 개념을 먼저 배웁니다. MySQL, MSSQL, PostgreSQL, Oracle 등 다양한 데이터베이스 관리 시스템(Relational Database Management System, RDBMS)의 개념에 대해 배우며, 이 데이터베이스에 관련되어있는 구성원들(데이터베이스 관리자, 데이터 분석가, 운영팀, 그로쓰해커 등)의 이해관계와 그 역할에 대해 배웁니다.

이후 데이터베이스에서 데이터를 가져올 수 있는 Structured Query Language, 이하 SQL이라는 기본 개념에 대해서 배웁니다. 가장 기초적인 SQL 문법에서부터, SQL을 배우는 것이 왜 상대적으로 다른 언어를 배우는 것에 비해서 어려운지 등에 대해 배웁니다. 이후 주요 SQL 문법에 대해 배워봅니다.

• 가장 기본적인 4대 SQL 쿼리. ex: SELECT, INSERT, UPDATE, DELETE
• 데이터베이스에서 데이터를 가져오는 SELECT 문의 다양한 응용. ex: ORDER BY, LIMIT
• 특정 조건에 해당하는 데이터를 가져오기. ex: WHERE, BETWEEN, LIKE, etc
• 여러 개의 조건을 중복해서 사용하기. ex: AND, OR
• 데이터베이스에서 사용할 수 있는 기본 연산. ex: COUNT, SUM, AGV, etc

이후 지금까지 배운 내용으로 본격적인 실습을 해봅니다. 첫 실습은 페이스북(Facebook)의 사용자 정보를 활용하여, 특정 조건(ex: 봇으로 간주할 수 있는 사용자)에 해당하는 정보를 가져오는 과제를 풉니다. 이 과제를 SQL문을 활용하여 풀것이며, 1시간 정도의 실습을 진행하고, 실습에서 마저 풀지 못한 부분은 과제로 제공합니다. 과제를 모두 푼 뒤에는 강사나 조교가 온라인을 통해 피드백을 해드립니다.

• SQL 문법을 응용하는 법을 알아두면 좋은 이유.
• 여러 개의 테이블에서 데이터를 하나로 합치기
• 전자상거래나 쇼핑몰, 오픈마켓 등에서 가장 많이 사용하는 쿼리와 그 분석 방법 배우기.

두 번째 수업에서는 SQL 문법의 응용을 들어갑니다. 1주차에 배운 내용에서 조금 더 알아두면 좋은 문법과, 현장에서 가장 많이 발생하는 상황인, 여러 개의 데이터베이스 테이블을 하나로 합쳐서 분석하는 방법 등을 배웁니다. 이번 시간에 배울 주요 SQL 문법은 다음과 같습니다.

• SQL의 다양한 응용. ex: GROUP BY, HAVING, etc
• 여러 개의 테이블에서 데이터를 하나로 합치기. ex: INNER/OUTER/LEFT/RIGHT JOIN, etc
• 기타 알아두면 좋은 SQL문. ex: UNION, WITH, AS, etc

이후 지금까지 배운 내용을 바탕으로 본격적으로 실습에 들어갑니다. 2주차에서는 전자상거래 서비스 아마존(Amazon)에 있는 전체 사용자 정보, 상품, 리뷰에서 약 50만개를 추출하여 분석하는 과제를 실습합니다. 실제 전자상거래 서비스에서 일어날 수 있는 다양한 상황 (ex: 특정 상품의 평균 리뷰 점수, 이번 달 VIP 사용자 리스트업 등)에서 사용할 수 있는 SQL문을 작성하는 실습을 1시간 정도 진행합니다. 실습에서 다 풀지 못한 부분은 과제로 제공하며, 과제를 푼 뒤에는 온라인으로 제출하면 강사나 조교가 피드백을 해드립니다.

• 비전공자가 SQL을 배우고 활용하기 어려운 이유.
• SQL을 쉽게 짤 수 있는 쿼리 제너레이터(Query Generator) 소개.
• 쿼리 제너레이터를 활용하여 실제 현업에서 일어날 수 있는 상황을 해결해보기.

마지막 수업에서는 비전공자라도 SQL을 쉽게 작성할 수 있는, 일명 쿼리 제너레이터(Query Generator)를 본격적으로 배워봅니다. SQL은 다른 프로그래밍 언어(ex: 파이썬)에 비해 굉장히 예전에 만들어졌기 때문에 다소 체계적이지 않습니다. 그래서 1) SQL 문법을 잘 작성했을때는 큰 문제가 없지만, 잘 작성하지 못했을 경우 구체적으로 문법에 어떤 문제가 있는지 잘 설명해주지 않으며, 2) 구체적으로 어떤 부분에 문제가 발생했는지도 잘 알려주지 않습니다.

그래서 SQL을 편하게 짜고 싶은 분들은, SQL을 조금 더 체계적으로 작성할 수 있는 일명 쿼리 제너레이터(Query Generator)라는 것을 애용합니다. 이번 수업에서는 쿼리 제너레이터에서 구체적으로 다음의 부분을 집중적으로 배울 것입니다.

• 다양한 쿼리 제너레이터의 종류와 그 장단점
• 쿼리 제너레이터로 작성한 SQL를 바로 데이터베이스에 사용하기
• 쿼리 제너레이터를 사용하지 않은 다른 동료들과 협업하기

마지막으로 지금까지 배운 내용을 바탕으로 실습을 해보겠습니다. 이번에 다루고 싶은 데이터는 에어비엔비(Airbnb)의 호스트, 공실, 리뷰 데이터를 활용하여, 한 명의 비즈니스 분석가(Business Analyst)로서 살펴봐야 하는 주요 지표를 뽑아내는 법을 배울 것입니다. 마찬가지로 1시간 정도의 실습을 진행하며, 실습에서 다 풀지 못한 부분은 온라인으로 푼 뒤 제출하면 강사나 조교가 피드백을 해드립니다.

뛰어난 데이터 사이언티스트일수록 데이터를 완벽하게 이해할 때 까지 끊임없이 분석합니다. 첫 번째 주에는 예측 모델의 성능을 무리하게 끌어올리려 노력하기 보단, 데이터 분석과 시각화를 통해 데이터를 천천히 이해하려는 과정을 거칩니다. 파이썬의 데이터분석 패키지인 판다스(Pandas)와, 데이터시각화 패키지인 matplotlib, seaborn을 활용하여, 크게 다음의 질문에 대한 답변을 스스로 찾는 과정을 거칩니다.

• 총 몇 개의 범죄(ex: 절도, 살인)가 있으며, 가장 많이 일어나는 범죄 순으로 정렬하면 어떻게 되는가?
• 시간(Dates)을 기준으로, 가장 많이 범죄가 일어나는 시기는 언제인가? 그리고 연/월/일/시/분/초 기준으로 범죄와 가장 연관성이 높은 정보는 어떤 것인가? (정 반대로, 가장 연관성이 낮은 정보는 어떤 것인가?)
• 좌표나 주소상으로, 구체적으로 어떤 위치에서 어떤 범죄가 가장 빈번하게 발생하는가?
• 주어진 데이터는 신뢰할 수 있는가? 만일 신뢰할 수 없다면, 몇몇 신뢰할 수 없는 데이터는 어떻게 처리해야 하는가? (ex: 버리던가, 고치던가)

2주차에서는 샌프란시스코 경진대회를 더 깊게 분석합니다. 구체적으로는 다음의 내용을 중점적으로 다룰 것입니다.

• 정답(Label)을 분석합니다. 다양한 범죄 형태(ex: 절도, 살인 등)가 있는데, 각 범죄마다의 분포는 어떠한지, 발생 빈도의 차이가 있는지 분석합니다.
• 측정 공식(Evaluation Metric)을 이해합니다. San Francisco Crime Classification 경진대회에서는 log loss라는 측정 공식을 사용하는데, 이 측정 공식의 특징과, 이 공식을 San Francisco Crime Classification에 적용했을 때 발생하는 효과에 대해서 설명합니다.

위 내용을 바탕으로, 우리가 구현할 수 있는 가장 심플한 예측 모델을 구현합니다. 머신러닝 모델은 랜덤 포레스트(Random Forest), 그리고 랜덤 포레스트의 업그레이드 버전인 그래디언트 부스팅 머신(Gradient Boosting Machine)을 사용할 것이며, 가장 강력한 그래디언트 부스팅 머신의 구현체인 LightGBM을 사용할 것입니다.

이번 2주차의 목표는 1주차에 분석한 내용을 바탕으로 머신러닝 모델의 성능을 최대한 끌어올리는 것입니다. 단순히 보유한 데이터를 머신러닝 모델에 적용하는 것을 넘어서서, 보유한 데이터를 빼거나(Feature Selection), 고치거나 추가하는(Feature Extraction) 행위를 통해 머신러닝을 더 정교하게 만드는 과정을 거칩니다.

3주차에서는 분석과 시각화를 통해 데이터를 더 깊게 들어갑니다. 크게 다음의 내용을 중점적으로 다룰 것입니다.

• 시간(Dates) 데이터를 시각화한 뒤, 이 데이터를 신뢰할 수 있는지, 신뢰할 수 없다면 이를 고쳐서 머신러닝 알고리즘의 성능을 끌어올릴 수 있는지 분석합니다.
• 주소(Address) 데이터를 분석해서, 특정 장소에서 많이 발생하는 범죄가 있는지 분석합니다.

위 분석 내용을 바탕으로 예측 모델을 개선합니다. 모델에 도움이 되는 새로운 정보를 추가하거나, 정 반대로 도움이 되지 않는 필요 없는 정보를 제거하고, 사용중인 머신러닝 알고리즘을 튜닝하여 모델의 성능을 한 층 더 끌어올립니다.

이번 3주차의 목표는 San Francisco Crime Classification 경진대회의 상위 25% 안에 들어가는 것입니다. 보통 캐글에서는 데이터 사이언티스트로서 인정을 해줄 수 있느냐의 여부를 상위 25% 안에 진입했는지로 파악합니다. 이 정도 수준까지를 스스로의 힘으로 달성할 수 있는 것이 목표입니다.

경진대회 데이터에서 사용하기 가장 까다로운 컬럼 중 하나는 주소(Address)입니다. 이번 4주차에서는 주소 값을 분석하여 머신러닝 알고리즘에 집어넣는 방법을 배웁니다.

주소 값을 집어넣을 때의 문제점은, 데이터의 양도 많고(학습 데이터만 총 878,049개), 주소의 종류도 많기 때문에(총 23,228개) 용량이 너무 커서 머신러닝 모델에 집어넣을 수가 없습니다. 이를 극복하기 위해 먼저 다음의 방식으로 주소 데이터를 정리합니다.

1. 사실상 같은 주소이지만 다른 방식으로 표기되어 있는 값을 찾아 하나로 합칩니다.
2. 범죄가 자주 발생하지 않는 주소는 제거하거나 하나로 묶어줍니다.

이를 통해 총 23,228 종류의 주소를 1,483 종류까지 줄여줄 수 있습니다. 이후 주소 데이터를 효율적으로 저장하기 위해 희소 행렬(Sparse Matrix)의 저장 방식 중 하나인 Compressed Sparse Row (CSR) 행렬로 변환합니다. 이 방식을 통해 주소 데이터의 메모리 사용량을 획기적으로 줄일 수 있습니다.

마지막으로 주소 데이터를 집어넣은 머신러닝 알고리즘을 다시 한 번 튜닝합니다. 튜닝을 통해 모델의 정확도를 최대한으로 끌어올리며, 최종적으로 San Francisco Crime Classification 경진대회 상위 10% 안에 들 수 있도록 합니다. 보통 캐글 상위 10%에 드는 참석자를 현장에서 즉시전력으로 투입 가능한 인재라고 평가하는데, (참고자료 https://www.kaggle.com/progression) 마지막 주차에서 경진대회 상위 10% 안에 들 수 있다면 충분히 프로페셔널한 데이터 사이언티스트로 활동할 수 있는 인재라고 판단할 수 있습니다.

과정 소개 및 캐글(Kaggle) “Titanic: Machine Learning from Disaster” 경진대회 참여

• 강의 개요. 자기소개.
• 첫 번째 캐글 경진대회에 참석
• 엑셀(내지는 구글 스프레드시트)를 활용한 기초적인 통계분석 해보기.
• 강사의 파이썬을 활용한 데이터 분석 및 인공지능&머신러닝 알고리즘 활용 시연

DS School 데이터 사이언스 입문반의 대주제는 “데이터는 생각보다 어렵지 않으며, 누구든지 쉽게 데이터를 다룰 수 있다.”라는 것을 깨닫는 것입니다. 첫 수업에서는 엑셀을 활용하여 데이터를 분석하는데, 간단한 엑셀 공식과 피벗 테이블(Pivot Table)만으로 데이터를 분석하는 방법을 체험합니다.

이번 수업에서는 데이터 사이언티스트의 온라인 경진대회 캐글(Kaggle)에 도전합니다. 첫 번째 경진대회는 RMS 타이타닉 해상사고의 데이터를 바탕으로, 유사한 해상사고가 발생했을 경우 어떤 승객이 생존하며, 또한 어떤 승객이 사망하는지를 예측하는 경진대회입니다.

매우 어려워 보이지만, 실습에 들어가면 데이터를 분석하는 일이 굉장히 쉽고 재미있다는 것을 알 수 있습니다. 수강생분들은 먼저 엑셀에서 사칙연산을 하는 방법과 제어문(IF)과 같은 간단한 엑셀 공식, 그리고 피벗 테이블(Pivot Table)을 활용하여 데이터를 분석하는 법을 배웁니다. 이후 전통적인 데이터 분석 방법인 1) 가설 수립, 2) 가설 검증, 3) 검증된 가설로 예측. 하는 세 가지 방식을 통해 생존자와 사망자를 예측합니다.

가령 1) "여성인 경우 해상사고에서 탈출 우선순위가 높기 때문에 생존율이 높다.”는 가설을 세웠으면 (가설 수립) 2) 엑셀의 피벗 테이블(Pivot Table)로 여성일 경우의 생존율과 남성일 경우의 생존율을 비교합니다. (가설 검증), 3) 가설 검증이 완료되었으면 제어문(IF)을 활용해 a) 승객이 남성일 경우 사망했다고 예측하고, b) 여성일 경우 생존했다고 예측합니다. (검증된 가설로 예측)

이 예측 결과를 캐글(Kaggle)에 제출하면, 몇 명의 승객을 맞췄는지에 대한 정답률을 알려줍니다.

이후 수강생분들끼리 팀을 짜서 자율 실습에 들어갑니다. 실습 목표는 경진대회의 상위 25% (예측 정확도 약 78.947%)에 도달하는 것입니다. 만일 첫 수업에서 상위 25%에 도달할 수 있다면 데이터 사이언티스트로서의 소질이 있다고 판단할 수 있습니다. 실습이 끝나면 가장 점수가 높은 수강생을 뽑아서 개인 인터뷰와 선물 증정식을 합니다.

자율 실습이 끝나면, 마지막으로 강사가 프로그래밍 시연을 합니다. 프로그램 언어 파이썬(python.org), 데이터 분석 패키지 판다스(Pandas), 데이터 시각화 패키지 시본(Seaborn), 마지막으로 인공지능&머신러닝 알고리즘 중 하나인 의사결정나무(Decision Tree)를 활용해 데이터를 분석하고 그 결과를 캐글에 제출합니다. 목표는 마찬가지로 경진대회 상위 25%에 해당하는 78.947%의 예측 정확도를 달성하는 것입니다.

프로그래밍 언어 파이썬(Python)과 관련 데이터 분석 패키지를 학습하기. 학습이 끝난 후 Titanic: Machine Learning from Disaster 경진대회에 재도전.

오후 수업에서는 본격적으로 데이터 분석을 배우며, 크게 다음의 툴을 학습합니다.

1. 프로그래밍 언어 파이썬(Python)
2. 파이썬의 데이터 분석 패키지 판다스(Pandas)
3. 파이썬의 인공지능&머신러닝 패키지 싸이킷런(scikit-learn)
4. 머신러닝 알고리즘 의사결정나무(Decision Tree)

위 네 개의 툴을 사용하는 법을 배웠다면, 마지막으로 1 ~ 4번을 조합하여 타이타닉 경진대회에 재도전합니다. 이번에는 엑셀이 아닌 파이썬을 활용하여 상위 25% (예측 정확도 78.947%)에 도전하며, 실습이 끝난 뒤에는 강사가 경진대회 상위 5% (예측 정확도 81.818%)에 도달할 수 있는 노하우를 공유합니다.

2주차에 학습할 툴에 대한 상세 설명은 다음과 같습니다.

파이썬

파이썬(Python)은 데이터 분석과 인공지능 분야에서 가장 많이 쓰이는 프로그래밍 언어입니다. 파이썬은 고레벨 프로그래밍 언어(High-Level Programming Language)답게 매우 직관적이면서 사람이 이해하기 쉬우며, 숙련자는 물론 프로그래밍 언어를 처음 접해보는 사람도 단기간에 배울 수 있습니다.

이번 수업에서는 파이썬의 다음 기능을 배울 것입니다.

• 파이썬의 기본 연산. 덧셈, 뺄셈, 곱셈, 나눗셈, 나머지 연산자 등.
• 파이썬의 비교 연산. 등호(==)와 부등호(!=), 이상, 이하, 미만, 초과 등.
• 파이썬의 변수. 변수를 할당하는 법과 사용하는 법 등.
• 파이썬의 다양한 데이터 타입. 숫자, 문자열(텍스트), 리스트(배열) 등.
• 파이썬의 제어문과 반복문. if-else와 for 등.
• 파이썬의 함수와 그 응용 등.

판다스

판다스(Pandas)는 파이썬에서 자주 쓰이는 데이터 분석 패키지입니다. 판다스에서는 엑셀에서 사용하는 기능을 그대로 쓸 수 있는데, 엑셀에 비해서 1) 대용량 데이터를 다루는 데 적합하며 (엑셀은 데이터의 용량이 100메가만 넘어가면 느려집니다), 2) 엑셀보다 훨씬 복잡한 기능을 코드 몇 줄로 구현할 수 있습니다. 3) 또한 파이썬을 기반으로 동작하기 때문에 데이터 분석 결과를 다양한 분야에 응용할 수 있습니다. (ex: 데이터베이스에 저장하기, 웹페이지에 띄우기, 머신러닝 알고리즘에 집어넣기 등)

이번 수업에서는 판다스의 다음 기능을 배울 것입니다.

• 판다스로 분석할 데이터를 읽어오고 저장하기.
• 판다스로 데이터의 행렬(row/column) 검색하기.
• 판다스로 데이터를 색인(indexing) 하기.
• 판다스로 데이터를 통계분석 하기. (pivot_table, crosstab, etc)
• 판다스로 데이터에 새로운 컬럼을 추가하거나 기존 컬럼값을 수정하기.
• 판다스로 복잡한 기능을 구현하기. (apply)

시본

시본(Seaborn)은 파이썬에서 주로 쓰이는 데이터 시각화(Data Visualization) 패키지 중 하나입니다. 파이썬에는 시본 외에도 다양한 패키지가 있지만, 1) 시본이 다른 패키지에 비해 간결하고 쉽게 쓸 수 있으며, 2) 기능이 다양하고 직관적인 시각화를 할 수 있습니다.

이번 수업에서는 시본의 다음 기능을 배울 것입니다.

• 타이타닉 데이터를 기준으로, 생존자와 사망자를 판가름할 수 있는 다양한 요소(성별, 운임요금 등)을 시각화하기
• 좌표 데이터를 시각화 할 수 있는 방법을 알아보기
• 히스토그램(histogram)과 같은 유명 시각화 기능을 살펴보기

싸이킷런 + 의사결정나무

싸이킷런(scikit-learn)은 파이썬에서 인공지능&머신러닝에 관련된 알고리즘을 하나로 묶어놓은 패키지입니다. 싸이킷런을 활용하면 알고리즘을 직접 구현할 필요 없이, 이미 만들어진 구현체를 파이썬으로 가져와 사용하면 됩니다.

이번 수업에서는 싸이킷런의 대표적인 머신러닝 알고리즘인 의사결정나무(Decision Tree)를 활용할 것이며, 크게 다음 기능을 배울 것입니다.

• 싸이킷런에서 머신러닝 알고리즘을 가져오기.
• 가져온 알고리즘에 데이터를 넣어 학습(fitting) 시키기.
• 학습이 끝난 데이터로 특정 상황을 예측(predict) 하기.
• 의사결정나무(Decision Tree)의 분석 결과를 시각화해서 보기

오프라인 부트캠프의 마지막은 앞으로 4주간, 그리고 장기적인 관점에서 수강생분들이 데이터사이언티스트가 되기 위해서는 어떤 것이 필요한지를 살펴보고 마무리하겠습니다. 크게 다음의 내용을 중점적으로 다룰 것입니다.

• 데이터 사이언스, 그리고 머신러닝 알고리즘의 탄생 과정.
• 현업에서는 어떻게 데이터 사이언스 팀을 구성하며, 어떠한 과정을 거쳐서 문제를 푸는가
• 회사에서는 캐글(Kaggle)같은 시스템이 없는데, 어떤 방식으로 모델의 성능을 검증할 수 있는가?
• 회사에서는 주로 어떠한 방식으로 데이터 사이언티스트를 구인하는가?

마지막으로 앞으로 4주간 온라인 수업을 통해 참여할 새로운 캐글 경진대회를 살펴봅니다. Capital Bikeshare 라는 워싱턴 D.C. 소재의 자전거 대여 스타트업에서 제공한 데이터를 바탕으로, 2011년도와 2012년도의 시간당 자전거 대여량을 예측하는 경진대회에 참석할 것입니다. 여기서는 주로 다음의 내용을 배우게 됩니다.

• 판다스를 통한 분석과 시각화를 통해, 데이터에서 우리가 모르고 있었던 새로운 특징을 뽑아내기.
• 현업에서 주로 쓰이는 최신 머신러닝 알고리즘을 배우고, 이를 실제 데이터에 적용하기
• 캐글(Kaggle)에 올리지 않고도 모델의 성능을 검증하기

캐글의 새로운 경진대회 Bike Sharing Demand 참여하기.

• 타이타닉 경진대회에 이은 Bike Sharing Demand 경진대회 에 참석.
• 오프라인 수업에서 배운 파이썬(Python)과 판다스(Pandas)와 시본(Seaborn)을 활용해보기
• 데이터 분석을 통해서 인사이트를 얻을 수 있는 탐험적 데이터 분석(Exploratory Data Analysis) 배우기.

온라인 수업부터는 새로운 캐글 경진대회에 참여합니다. Capital Bikeshare 라는 워싱턴 D.C. 소재의 자전거 대여 스타트업에서 제공한 데이터를 바탕으로, 2011년도와 2012년도의 시간당 자전거 대여량을 예측하는 경진대회에 참석합니다.

기존에 참여한 타이타닉 경진대회와 전혀 달라 보이지만, 우리가 이전까지 배운 지식을 이번 경진대회에서도 그대로 활용할 수 있습니다. 온라인 1주차 수업에서는 오프라인 수업을 복습하는 차원에서, 프로그래밍 언어 파이썬(Python)과 데이터 분석 패키지 판다스(Pandas), 데이터 시각화 패키지 시본(Seaborn)을 활용해봅니다.

여기에 더불어, 이번 수업에서는 데이터를 분석하여 그 결과를 머신러닝 알고리즘에 적용하는 탐험적 데이터 분석(Exploratory Data Analysis, 이하 EDA)에 대해서 배웁니다. 탐험적 데이터 분석을 통해 수강생분들은 다음의 정보를 얻게 됩니다.

• 특정 날짜와 시간에 따라 자전거 대여량이 달라지는 현상이 일어나는가? (가령 주중/주말, 근무하는 날/근무하지 않는 날)
• 계절(봄, 여름, 가을, 겨울)에 따라서 자전거 대여 패턴이 달라지는가?
• 날씨(해가 쨍쨍함 / 비가 내름)에 따라서 자전거 대여 패턴이 달라지는가?

마지막으로 수강생 분들은 1주차 과제를 제공 받습니다. 1주차 과제는 앞서 강사가 엑셀과 데이터 시각화를 통해 분석한 결과 외에도, 수강생분들이 스스로 데이터에서 결과를 추출하는 것입니다. 가령 예를 들자면 다음과 같습니다.

• 온도(temperature), 습도(humidity), 풍속(windspeed)에 따라서 자전거를 많이 빌리거나, 또는 덜 빌리는 현상이 발생하는가?
• 비회원(casual)과 회원(registered)간의 자전거 대여 패턴의 차이가 있는가?

위 과제를 풀면서, 부족하거나 잘 이해가 안 되는 부분이 있다면 자유롭게 채팅방을 통해서 담당 조교에게 질문을 주시면 됩니다. 풀이가 끝난 다음에는 과제를 제출하며, 제출한 과제를 강사나 조교가 확인 후 피드백을 드립니다.

분석한 데이터를 머신러닝 알고리즘에 학습시킨 뒤, 그 결과를 캐글에 제출하기

• 데이터를 의사결정나무(Decision Tree)에 집어넣기
• 머신러닝 알고리즘의 특성 중 하나인 분류(Classification)과 회귀(Regression)에 대해 이해하고, 이를 머신러닝 알고리즘에 적용하기
• 새로운 머신러닝 알고리즘인 랜덤 포레스트(Random Forest) 사용해보기

2주차 수업에서는 분석한 데이터를 실제 머신러닝 알고리즘에 집어넣습니다. 오프라인 부트캠프 수업에서 배웠던 의사결정나무(Decision Tree) 알고리즘에 데이터를 집어넣고, 이를 캐글에 제출해서 점수를 확인하는 것이 첫 시작입니다.

이후 이 예측 모델의 성능을 개선할 수 있는 몇 가지 아이디어를 테스트해봅니다. 첫 번째로는 머신러닝 알고리즘을 사용할 때 알아두면 도움이 되는 분류(Classification)과 회귀(Regression)라는 개념을 이해하고, 이 개념을 적용한 회귀 버전의 의사결정나무(DecisionTreeRegressor)를 적용해봅니다.

또한 의사결정나무(Decision Tree) 알고리즘을 개선한 새로운 알고리즘을 테스트해봅니다. 의사결정나무 알고리즘 여러개를 섞어서 사용하는 랜덤 포레스트(Random Forest)라는 알고리즘을 사용합니다. 이 알고리즘은 대부분 의사결정나무보다 더 좋은 성능을 보장하는 강력한 알고리즘입니다. 이 알고리즘의 원리와 사용 방법을 배우면 더 정확한 예측 모델을 구현할 수 있습니다.

마지막으로 수강생분들은 2주차 과제를 제공받습니다. 이번 과제의 목표는 1, 2주차에서 배운 내용을 활용하여 Bike Sharing Demand 경진대회의 상위 25% (캐글 점수 0.44691) 안에 드는 것입니다. 2주차에서 배운 데이터를 머신러닝 알고리즘에 집어넣는 방법, 그리고 1주차에 탐험적 데이터 분석(Exploratory Data Analysis)을 통해 찾은 정보를 머신러닝 알고리즘에 집어넣으면 충분히 상위 25%에 해당하는 점수에 도달할 수 있을 것입니다.

캐글(Kaggle)에 제출 파일을 올리지 않고 머신러닝 알고리즘이 개선되었는지를 파악하기

• 모델을 검증(Model Validation)하는 두 가지 방식, Hold-out Validation과 Cross Validation을 배우기.
• 측정 공식(Evaluation Metric)을 통해 검증한 모델의 성능을 측정하기.

3주차 수업에서는 모델의 예측값을 매 번 캐글(Kaggle)에 제출하지 않고도 모델의 성능을 검증할 수 있는 방법을 배웁니다. 먼저 모델을 검증하는 두 가지 방식인 Hold-out Validation과 Cross Validation에 대해 배웁니다.

이후 검증 결과를 바탕으로 모델이 개선되었는지 여부를 파악할 수 있는 측정 공식에 대해 배웁니다. 이번 수업에서는 회귀(Regression) 문제에 대한 측정 공식인 Mean Absolute Error(MAE), Mean Squared Error(MSE), Root Mean Squared Error(RMSE) 등에 대해 배웁니다.

마지막으로 3주차의 과제를 제공받습니다. 3주차 과제는 지금까지 배운 내용을 바탕으로 Bike Sharing Demand 경진대회의 상위 10% (캐글 점수 0.40856) 안에 드는 것입니다. 캐글 상위 10%는 보통 프로와 아마추어를 구분하는 기준이라고 할 만큼 중요한 지표이며, 그만큼 난이도도 높은 편에 속합니다. 하지만 수강생 분들은 지금까지 배운 다음의 내용들을 잘 활용하고, 틈틈히 강사와 조교의 도움을 받는다면 충분히 상위 10%에 해당하는 점수를 달성할 수 있을 것입니다.

• 기존에 보유하고 있는 데이터에서 새로운 정보를 추출하는 Feature Engineering.
• 기존에 보유하고 있는 데이터에서 필요 없는 정보를 제거하는 Feature Selection.
• 비어있는 값을 제거하거나, 전체 분포와 동떨어져 있는 아웃라이어(outlier)를 제거하는 Data Cleaning.

마지막 주차에서는 지금까지 배운 내용 + a를 활용하여 캐글 최상위권 성적에 도전합니다. 최소 경진대회 상위 5%(캐글 점수 0.39010), 가능한 경진대회 100위권 이내(캐글 점수 0.37748)에 도달할 수 있도록 합니다. 주로 다음의 내용을 활용하게 될 것입니다.

• Bike Sharing Demand의 공식 측정 공식인 Root Mean Squared Logarithmic Error(이하 RMSLE)를 이해하고 이를 머신러닝 알고리즘에 활용하기
• 랜덤포레스트의 성능을 끌어올릴 수 있는 하이퍼패러미터(Hyperparameter)를 이해하고 이를 활용해 모델을 튜닝하기
• 정형 데이터(Structured Dataset, 일명 엑셀 데이터)에 한해 가장 강력한 머신러닝 알고리즘으로 알려진 그래디언트 부스팅 트리(Gradient Boosting Tree)를 배우고 활용해보기.
• 가장 뛰어난 그래디언트 부스팅 트리(Gradient Boosting Tree)의 구현체인 XGBoost와 LightGBM을 배우고 활용해보기.

캐글에서는 상위 5%에 진입한 사람을 프로 중에서도 특출나게 뛰어난 데이터 사이언티스트로 간주합니다. (해당 참석자에게는 캐글에서 공인하는 은메달 마크가 부여됩니다) 입문반 수업을 통해 경진대회 상위 5%, 내지는 상위 100위 안으로 진입할 수 있는 노하우를 습득할 수 있다면, 데이터 사이언티스트 되는 데 필수적인 지식은 거의 습득했다고 가정해도 무방합니다.

마지막으로 수업이 끝난 뒤에는 앞으로 어떤 것을 배워야 하며, 데이터사이언스를 본인의 커리어에 활용하기 위해서는 어떠한 내용을 추가로 학습하고 공부해야 하는지를 알려드린 뒤 수업을 마무리합니다.