본문 바로가기

data science

 (8)
[데이터 분석] 문제 유형 6가지 데이터 분석은 단순히 정보를 플랫폼에 연결하여 인사이트를 찾는 것 뿐만 아니라, 문제를 해결하는 것이다. 문제의 근원을 찾고 실질적이 해결책을 찾기 위해 창의적인 사고를 하기 위해서는 문제가 무엇이든 간에, 가장 중요한 것은 문제를 이해하는 것! 어떤 정보를 포함해야 하는지, 데이터를 변환할 수 있는 방법 및 데이터를 사용하는 방법을 결정하는데 도움이 되는 문제 해결 방법으로 분석을 진행하는 것이 바람직함. 일반적인 문제 유형 6가지 1. 예측, Making predictions Using data to make informed decisions about how things may be in the future. 예측 문제 예시 : 새로운 고객을 유치하기 위한 최상의 광고방법 과거 광고 결과를 기반으로..
데이터 분석 프로세스 6단계 데이터 분석 프로세스 6단계를 활용한, 분석 사례 문제 : 신입사원의 이직률이 높음. 1년 미만 퇴사율 높음. 1. 질문 (Ask) 효과적인 질문 선정 신입 사원들이 입사 첫 해에 성공하기 위해서는 무엇을 배워야 한다고 생각하십니까? 이전에 신입 사원들로부터 데이터를 수집한 적이 있습니까? 그렇다면 과거 데이터에 접근할 수 있을까요? 유지율이 높은 관리자들이 신입 사원들에게 특별한 것이나 독특한 것을 제공한다고 생각하십니까? 신입사원들의 불만이 가장 큰 원인은 무엇이라고 생각하십니까? 다음 회계연도에 직원 유지율이 몇 퍼센트 증가하기를 원하십니까? 참고 강좌: https://www.coursera.org/learn/ask-questions-make-decisions 2. 준비 (Prepare) 3개월의 ..
[구글 클라우드] 텐서플로우를 활용한 머신러닝 예제 (source : GCP qiwklabs) AI Platform Notebooks 생성 1. Navigation Menu > AI Platform > Notebooks 클릭 2. 인스턴스 생성 : NEW INSTANCE 클릭 - Tensorflow Enterprise 1.15 > Without GPUs 선택 3. 팝업창이 뜨면 딥러닝 VM 이름을 입력/확인 하고 Create 클릭 (VM 생성까지 2~3분 정도 소요될 수 있음) 4. Open JupyterLab 클릭 > JupyterLab Window가 새창으로 열림 Datalab instance에 학습용 repo 복제 - training-data-analyst 를 내 JupyterLab 인스턴스에 복제 1. JupyterLab 에서 터미널 아이콘(Ter..
[구글 클라우드] TensorFlow 스케일링 - AI Platform Training 서비스 활용 (source : GCP qwiklabs) - Jupyter Notebook 실습 코드 - Jupyter Notebook 실습 코드 : 정답 포함 TensorBoard 설정 + AI Platform Notebooks 생성 1. Cloud Shell에서, TensorBoard를 지원하는 Cloud AI Platform Notebook 인스턴스를 생성 export IMAGE_FAMILY="tf-1-14-cpu" export ZONE="us-west1-b" export INSTANCE_NAME="tf-tensorboard-1" export INSTANCE_TYPE="n1-standard-4" gcloud compute instances create "${INSTANCE_NAME}" \ --zone="${ZON..
[구글 클라우드] 분산 학습 TensorFlow 모델 (Estimator API 사용) (source : GCP qwiklabs) - Jupyter Notebook 실습 코드 - Jupyter Notebook 실습 코드 : 정답 포함 1. 패키지 import from google.cloud import bigquery import tensorflow as tf import numpy as np import shutil print(tf.__version__) 2. 입력 CSV_COLUMNS = ['fare_amount', 'pickuplon','pickuplat','dropofflon','dropofflat','passengers', 'key'] LABEL_COLUMN = 'fare_amount' DEFAULTS = [[0.0], [-74.0], [40.0], [-74.0], [40.7], ..
[구글 클라우드] Estimator API 사용해서 AI 모델 구현 (TensorFlow) (source : GCP qwiklabs) AI Platform Notebooks 생성 1. Navigation Menu > AI Platform > Notebooks 클릭 2. 인스턴스 생성 : NEW INSTANCE 클릭 - Tensorflow Enterprise 1.15 > Without GPUs 선택 3. 팝업창이 뜨면 딥러닝 VM 이름을 입력/확인 하고 Create 클릭 (VM 생성까지 2~3분 정도 소요될 수 있음) 4. Open JupyterLab 클릭 > JupyterLab Window가 새창으로 열림 Datalab instance에 학습용 repo 복제 - training-data-analyst 를 내 JupyterLab 인스턴스에 복제 1. JupyterLab 에서 터미널 아이콘(Ter..
[구글 클라우드] Machine Learning APIs 활용하기 (source : GCP qiwklabs) AI Platform Notebooks 생성 1. Navigation Menu > AI Platform > Notebooks 클릭 2. 인스턴스 생성 : NEW INSTANCE 클릭 - Tensorflow Enterprise 1.15 > Without GPUs 선택 3. 팝업창이 뜨면 딥러닝 VM 이름을 입력/확인 하고 Create 클릭 (VM 생성까지 2~3분 정도 소요될 수 있음) 4. Open JupyterLab 클릭 > JupyterLab Window가 새창으로 열림 Datalab instance에 학습용 repo 복제 - training-data-analyst 를 내 JupyterLab 인스턴스에 복제 1. JupyterLab 에서 터미널 아이콘(Ter..
Data Science & Machine Learning 관련 Coursera 추천 강의 리스트 데이터 과학과 관련된 Coursera 강의 및 Machine Learning 관련 추천 강의 리스트 Machine Learning by Stanford University - Schedule : 11 Weeks- Instructors : Andrew Ng- Link : https://www.coursera.org/learn/machine-learning/코세라 창업자이자 Machine Learning 의 4대 천황이라 알려진 앤드류 응(Andrew Ng) 교수가 직접 강의하는 코스로 Machine Learning 기본 개념을 쉽게 이해할 수 있다. The Data Scientist’s Toolboxby Johns Hopkins University - Schedule : 2016 March 14 ~ Apr..

티스토리툴바