본문 바로가기

Biusiness Insight/Data Science

구글 클라우드 플랫폼(GCP)을 활용한 데이터 분석 Essential 참고사항

반응형

 

● GCP 접속 및 테스트

1. Google Cloud Platform 콘솔 접속하기

https://cloud.google.com/storage/docs/cloud-console

 

Google Cloud Platform Console  |  Cloud Storage

Google Cloud Platform Console을 사용하여 Cloud Storage에서 간단한 스토리지 관리 작업을 수행하세요. GCP Console의 몇 가지 일반적인 용도는 다음과 같습니다. 프로젝트를 위해 Cloud Storage API 활성화 버킷 생성 및 삭제 객체 업로드, 다운로드, 삭제 ID 및 액세스 관리(IAM) 정책 관리 이 페이지는 GCP Console을 사용하여 데이터를 관리함으로써 완료할 수 있는 작업을 포함한 GCP Cons

cloud.google.com

※ 참고 : 역할 및 권한

역할 이름

권한

roles/viewer

상태에 영향을 주지 않는 읽기 전용 작업에 대한 권한이 있습니다. 예를 들면 기존 리소스 또는 데이터의 조회(수정 제외)가 여기에 해당합니다.

roles/editor

모든 뷰어 권한에 더해 기존 리소스 변경과 같이 상태를 변경하는 작업에 대한 권한까지 포함됩니다.

roles/owner

모든 편집자 권한 및 다음 작업에 대한 권한:

  • 프로젝트 및 프로젝트 내의 모든 리소스에 대한 역할 및 관리
  • 프로젝트에 대한 결제 설정

 

2. Cloud Shell 실행 및 테스트

GCP 프로젝트에서 사용자 인증 정보의 계정을 나열

gcloud auth list

테스트 파일 생성

touch test.txt
ls
nano test.txt

원하는 내용 입력/편집 후 "CTRL+X"키를 길게 누른 후, "Y" 입력 "Enter키" 입력하여 파일 변경사항을 저장

아래 메시지를 이용해 Cloud Shell 세션에서 결과 표시

cat test.txt

 

 

● GCP 활용 데이터분석을 위한 유용한 링크

 

Google Cloud gcloud 개요 : gcloud 명령어 도구

https://cloud.google.com/sdk/gcloud

 

gcloud 명령줄 도구 개요  |  Cloud SDK 문서  |  Google Cloud

이 페이지에는 gcloud 명령줄 도구와 일반적인 명령어 패턴 및 특징의 개요가 나와 있습니다. gcloud 명령줄 인터페이스는 Google Cloud Platform에 기본 CLI를 제공하는 도구입니다. 이 도구를 사용하여 명령줄이나 스크립트 및 기타 자동화에서 여러 가지 일반적인 플랫폼 작업을 수행할 수 있습니다. 예를 들어 gcloud CLI를 사용하여 다음을 만들고 관리할 수 있습니다. Google Compute Engine 가상 머신 인스턴스 및

cloud.google.com

 

BigQuery Export schema 

https://support.google.com/analytics/answer/3437719?hl=en

 

BigQuery Export schema - Analytics Help

This feature is not governed by a service-level agreement (SLA). This article explains the format and schema of the data that is imported into BigQuery. Datasets For each Analytics view that is enabled for BigQuery integration, a dataset is added using the

support.google.com

 

One-Page SQL Guide (표준 SQL 쿼리 구문)

https://cloud.google.com/bigquery/docs/reference/standard-sql/query-syntax

 

표준 SQL 쿼리 구문  |  BigQuery  |  Google Cloud

쿼리 문은 테이블 또는 표현식을 한 개 이상 스캔하고 계산된 결과 행을 반환합니다. 여기서는 BigQuery의 SQL 쿼리에 관한 구문을 설명합니다. SQL 구문 query_statement: query_expr query_expr: [ WITH with_query_name AS ( query_expr ) [, ...] ] { select | ( query_expr ) | query_expr set_op query_expr } [ ORDER BY expr

cloud.google.com

 

BigQuery Public Datasets link (공개 데이터세트)

https://cloud.google.com/bigquery/public-data/

 

BigQuery 공개 데이터세트  |  Google Cloud

Cloud 공개 데이터세트 프로그램 카탈로그는 GCP Marketplace에 있습니다. 데이터세트 섹션의 Marketplace 페이지에서 개별 데이터세트를 자세히 알아볼 수 있습니다. GCP Marketplace의 데이터세트로 이동 공개 데이터세트는 BigQuery에 저장된 모든 데이터세트이며 Google Cloud 공개 데이터세트 프로그램을 통해 일반 대중에게 제공됩니다. 공개 데이터세트는 사용자가 액세스하고 애플리케이션에 통합할 수 있도록 BigQue

cloud.google.com

 

 

 QiwkLabs 참고

 

Google Cloud Essentials

https://www.qwiklabs.com/quests/23

 

Google Cloud Essentials | Qwiklabs

In this introductory-level Quest, you will get hands-on practice with the Google Cloud’s fundamental tools and services. Google Cloud Essentials is the recommended first Quest for the Google Cloud learner - you will come in with little or no prior cloud kn

www.qwiklabs.com

 

Baseline : Data, ML, AI

https://google.qwiklabs.com/quests/34

 

Baseline: Data, ML, AI | Qwiklabs

Big data, machine learning, and artificial intelligence are today’s hot computing topics, but these fields are quite specialized and introductory material is hard to come by. Fortunately, GCP provides user-friendly services in these areas and Qwiklabs has

google.qwiklabs.com

 

Intermediate ML: TensorFlow on GCP

https://google.qwiklabs.com/quests/83

 

Intermediate ML: TensorFlow on GCP | Qwiklabs

TensorFlow is library for is an open source software library for high performance numerical computation that's great for writing models that can train and run on platforms ranging from your laptop to a fleet of servers in the Cloud to an edge device. This

google.qwiklabs.com

 

Machine Learning APIs

https://google.qwiklabs.com/quests/32

 

Machine Learning APIs | Qwiklabs

It’s no secret that machine learning is one of the fastest growing fields in tech, and the Google Cloud Platform has been instrumental in furthering it’s development. With a host of APIs, GCP has a tool for just about any machine learning job. In this adva

google.qwiklabs.com

 

Optimizing Your GCP Costs

https://www.qwiklabs.com/quests/97

 

Optimizing Your GCP Costs | Qwiklabs

This is the second Quest in a two-part series on GCP billing and cost management essentials. This Quest is most suitable for those in a Finance and/or IT related role responsible for optimizing their organization’s cloud infrastructure. Here you'll learn s

www.qwiklabs.com

 

 

 Coursera 강의 참고 

 

※ 구글이 제공한 퀵랩, 코세라 과정 이수 시, 구글 수료증 획득

Data Engineering, Big Data, and Machine Learning 

https://www.coursera.org/specializations/gcp-data-machine-learning#courses

 

Data Engineering, Big Data, and Machine Learning on GCP | Coursera

Learn Data Engineering, Big Data, and Machine Learning on GCP from Google 클라우드. This online specialization provides participants a hands-on introduction to designing and building data pipelines on Google Cloud Platform. Through a combination of ...

www.coursera.org

 

Machine Learning with TensorFlow on Google Cloud Platform
https://www.coursera.org/specializations/machine-learning-tensorflow-gcp#courses 

 

Machine Learning with TensorFlow on Google Cloud Platform | Coursera

Learn Machine Learning with TensorFlow on Google Cloud Platform from Google 클라우드. What is machine learning, and what kinds of problems can it solve? What are the five phases of converting a candidate use case to be driven by machine learning, and ...

www.coursera.org


Advanced Machine Learning with TensorFlow on Google Cloud Platform
https://www.coursera.org/specializations/advanced-machine-learning-tensorflow-gcp#courses

 

Advanced Machine Learning with TensorFlow on Google Cloud Platform | Coursera

Learn Advanced Machine Learning with TensorFlow on Google Cloud Platform from Google 클라우드. This 5-course specialization focuses on advanced machine learning topics using Google Cloud Platform where you will get hands-on experience optimizing, ...

www.coursera.org

 

반응형