본문 바로가기

Biusiness Insight

 (73)
[구글 클라우드] Dataproc 클러스터 만들기 (명령 프롬프트) source : GCP qwiklabs Google Cloud Shell 활성화하기 1. GCP Console의 오른쪽 상단 툴바에서 Cloud Shell 열기 버튼 클릭 2. 계속(Continue) 클릭 (결과) 계정 이름 목록 조회 gcloud auth list 출력: Credentialed accounts: - @.com (active) 출력 예: Credentialed accounts: - google1623327_student@qwiklabs.net 프로젝트 ID 목록 조회 gcloud config list project 출력: [core] project = 출력 예: [core] project = qwiklabs-gcp-44776a13dea667a6 (참고 : gcloud 관련 전체 설명서 G..
[구글 클라우드] Dataflow 템플릿 활용 스트리밍 파이프라인 만들기 source : GCP qwiklabs Google Cloud Shell 활성화하기 1. GCP Console의 오른쪽 상단 툴바에서 Cloud Shell 열기 버튼을 클릭합니다. 2. 계속(Continue) 클릭 실행 화면 : 사용 중인 계정 이름 목록 표시 gcloud auth list 출력: Credentialed accounts: - @.com (active) 프로젝트 ID 목록 조회 gcloud config list project 출력: [core] project = - 참고 : gcloud 관련 전체 설명서 Google Cloud gcloud 개요 Cloud Shell을 사용하여 Cloud BigQuery 데이터세트 및 테이블 만들기 먼저 BigQuery 데이터세트 및 테이블 생성 - 참고: ..
[구글 클라우드] Dataprep 활용하기 soruce : GCP qwiklabs 프로젝트에 Cloud Storage 버킷 만들기 1. Cloud Platform Console에서 탐색 메뉴 > 저장소 > 브라우저 선택 2. 버킷 만들기를 클릭합니다. 3. 버킷 만들기 대화상자에서 버킷 이름 지정 (참고: 버킷 이름 요구사항) 4. 만들기(Create) 클릭 Cloud Dataprep 초기화 탐색 메뉴 > Dataprep 선택 Google Dataprep 서비스 약관에 동의하는 체크박스를 선택하고 동의 클릭 체크박스를 선택하여 Trifacta와의 계정 정보 공유를 승인한 다음 동의 및 계속하기 클릭 허용을 클릭하여 Trifacta가 프로젝트 데이터에 액세스하도록 허용 Trifacta에서 제공하는 Cloud Dataprep에 로그인할 때 사용할 G..
[구글 클라우드 플랫폼] 네트워크 및 HTTP 부하 분산 설정하기 source : GCP qwiklabs Google Cloud Shell 활성화하기 1. GCP Console의 오른쪽 상단 툴바에서 Cloud Shell 열기 버튼을 클릭 2. 계속 (Continue) 클릭 3. 연결 확인 사용 중인 계정 이름 목록 표시 gcloud auth list 출력: Credentialed accounts: - @.com (active) 출력 예: Credentialed accounts: - google1623327_student@qwiklabs.net 프로젝트 ID 목록 표시 gcloud config list project 출력: [core] project = 출력 예: [core] project = qwiklabs-gcp-44776a13dea667a6 기본 리전 및 영역(z..
석유 시장의 역사와 국제유가 (History of Oil Market) - 석유 (Petroleum) : Petra (돌) + Oleum (기름) - 탄화수소의 혼합물 - 원유 (Crude Oil) : 유정에서 생산된 정제하지 않은 석유 - 주요 단위 . 1 톤(Tone) = 7.3 배럴(Barrel) = 1,160 리터(L) . 1 드럼(Drum) = 200 리터(L) . 1 배럴(Barrel) = 159 리터(L) ※ 그래프(Real Price)는 과거 명목 가격에 인플레이션을 반영한 현재의 기준을 환산한 가격 석유의 발견 (Discovery of Petroleum But Confused market)과 오일 시대의 탄생 (Birth of Oil Age) ⊙ 1859 - Edwin Drake(미국 펜실베니아) 최초로 원유 생산 성공 ⊙ 1870 - 존 록펠러(John D..
[구글 클라우드 플랫폼] Kubernetes Engine 클러스터 설정 source : GCP Qwiklabs Google Cloud Shell 활성화하기 - Google Cloud Shell은 다양한 개발 도구가 탑재된 가상 머신 - 5GB의 영구 홈 디렉토리를 제공하며 Google Cloud에서 실행 - Google Cloud Shell을 사용하면 명령줄을 통해 GCP 리소스에 액세스 가능 1. GCP Console의 오른쪽 상단 툴바에서 Cloud Shell 열기 버튼을 클릭 2. 계속(Continue) 클릭 - 연결되면 인증된 상태로 PROJECT_ID 가 설정됨 - Google Cloud Platform의 명령줄 도구 gcloud는 Cloud Shell에 사전 설치되어 있으며 탭 자동 완성을 지원 사용 중인 계정 이름 목록 표시 gcloud auth list 출력:..
[구글 클라우드 플랫폼] Cloud Shell 및 gcloud 시작하기 펌 - 출처 : GCP qwiklabs Cloud Shell 시작 GCP Console의 오른쪽 상단에 있는 아이콘을 클릭하여 Cloud Shell 세션 오픈 Cloud Shell을 시작 - Cloud Shell이 활성화되면 명령줄을 사용하여 Cloud SDK gcloud 명령어나 가상 머신 인스턴스에서 사용할 수 있는 다른 도구 호출 가능 - $HOME 디렉터리는 본인에게만 공개되며 다른 사용자는 액세스할 수 없음 리전 및 영역의 이해 - 리전(resion): 리소스를 실행할 수 있는 특정 지리적 위치 - 각 리전에는 하나 이상의 영역(zone) 有 - 예: us-central1 리전은 us-central1-a, us-central1-b, us-central1-c 및 us-central1-f 영역이 있..
[구글 클라우드 플랫폼] 가상 머신 만들기 구글 클라우드 플랫폼(Google Cloud Platform, GCP) 가상 머신 만들기 Google Cloud Shell 활용 기본 1. GCP Console 우측 상단 툴바에서 "Cloud Shell 열기" 버튼 클릭 2. 사용중인 계정 목록 확인 gcloud auth list 출력 예시 : Credentialed accounts : - @.com (active) Credentialed Accounts ACTIVE ACCOUNT * student-00-f277cc1c8483@qwiklabs.net To set the active account, run: $ gcloud config set account `ACCOUNT` 3. 프로젝트 ID 목록 확인 gcloud config list project 출..
구글 클라우드 플랫폼(GCP)을 활용한 데이터 분석 Essential 참고사항 ● GCP 접속 및 테스트 1. Google Cloud Platform 콘솔 접속하기 https://cloud.google.com/storage/docs/cloud-console Google Cloud Platform Console | Cloud Storage Google Cloud Platform Console을 사용하여 Cloud Storage에서 간단한 스토리지 관리 작업을 수행하세요. GCP Console의 몇 가지 일반적인 용도는 다음과 같습니다. 프로젝트를 위해 Cloud Storage API 활성화 버킷 생성 및 삭제 객체 업로드, 다운로드, 삭제 ID 및 액세스 관리(IAM) 정책 관리 이 페이지는 GCP Console을 사용하여 데이터를 관리함으로써 완료할 수 있는 작업을 포함한 GCP ..
분석/참고용 데이터 소스 일반 데이터셋 목록 (예: 자동차 속도와 경고 신호, 국내 고양이 체중 등) Long general-purpose list of datasets https://vincentarelbundock.github.io/Rdatasets/datasets.html 아카데믹 토렌트 사이트 (위키피디아, 메일, 트위터, 학술 정보 등) The Academic Torrents site has a growing number of datasets, including a few text collections that might be of interest (Wikipedia, email, twitter, academic, etc.) for current or future projects. http://academictorren..
Machine Learning Cheat Sheets ■ Essential Cheat Sheets for Machine Learning and Deep Learning Engineershttps://startupsventurecapital.com/essential-cheat-sheets-for-machine-learning-and-deep-learning-researchers-efb6a8ebd2e5 1. Keras https://s3.amazonaws.com/assets.datacamp.com/blog_assets/Keras_Cheat_Sheet_Python.pdf 2. Numpyhttps://s3.amazonaws.com/assets.datacamp.com/blog_assets/Numpy_Python_Cheat_Sheet.pdf 3. Pandasbasic..
카카오 AI 리포트 (Vol.1~3) 카카오 AI 리포트 Vol.1 (2017 MAR) 01. AI 기술 개발의 역사, 머신러닝과 딥러닝 - 최초의 AI프로그램, 논리연산가(Logic Theorist), CMU Allen Newell & Herbert A. Simon . 첫째, 추론을 통한 탐색 . 둘째, 경험적 방법론(Heuristics) 도입 . 셋째, 정보처리언어(IPL, Information Processing Language) 개발- 탐색과 추론의 시대- Machine Learning, 기계가 스스로 학습한다- Deep Learning, 인간 뇌의 정보처리 방식을 흉내낸다 02. AI 규제 동향 및 법적, 윤리적 쟁점현재 AI 분야에서는 모든 전문가들이 동의할만한 정의가 존재하지 않는다. 다만 AI 분야의 교과서로 알려진 '인공지능..
How to write a great research paper : 7 simple suggestions How to Write a Great Research Paper 34'24"- Simon Peyton Jones - Microsoft Research, Cambridge 1. Don't wait to write- Idea → write paper → Do research- writing paper is a primary mechanism for doing research 2. Identify your key idea- goal is to convey an idea to reader- can you hear the ping . many papers contain good idea, but do not distill what they are . make certain the reader is in no do..
Facebook F8 2017 - 페이스북 개발자 컨퍼런스 F8 2017 Keynote Day 1 1'17'28" ● Topic : AI, VR● Speaker : Mark Zuckerberg(마크 저커버그, CEO), Mike Schroepfer(마이크 슈로퍼, CTO), Deb Liu(데브 리우, Platform/Market Place 총괄), Rachel Franklin(레이첼 프랭클린, Social VR 총괄), Ime Archibong(이메이 아치봉, Product Partnership 담당), David Marcus(데이비드 마커스, Messaging Product 담당) - Mark Zuckerberg(마크 저커버그) 발표내용 요약 . 지난 10년간 Facebook은 Connecting People (Connecting friends and fami..
Confusion matrix와 주요 성능지표 산출식 Precision(정확도)와 Recall(재현율), Accuracy, and etc. 는 알고리즘 및 Machine Learning 모델의 성능을 평가하는 지표로 많이 사용되고, Confusion Matrix는 Training 을 통한 Prediction 성능을 측정하기 위해 예측 value와 실제 value를 비교하기 위한 표를 일컫는다. ■ 성능지표 및 용어 설명 용어 산출식 설명 예 Accuracy (TP+TN)/(TP+TN+FP+FN) 탐지율 : 맞게 검출한 비율 실제 악성/정상인지 맞게 예측한 비율 Precision TP/(TP+FP) 정확도 : P로 검출한 것중 실제P의 비율 악성으로 예측한것 중 실제 악성인 샘플의 비율 Recall TP/(TP+FN) 재현율 : 실제 P를 P로 예측한 비율 ..
UNIX 및 vi editor 명령어 목록 ■ UNIX 명령어* source : https://ko.wikipedia.org/wiki/유닉스_명령어_목록 명령어 설명 분류 admin SCCS 파일 작성 / 관리 SCCS alias 별칭(Alias) 정의 / 표시 기타 ar 라이브러리 압축 파일 작성 및 관리 기타 asa 캐리지 제어 문자 해석 문자열 처리 at 나중에 명령어 실행 프로세스 관리 awk 패턴 검사 및 처리 언어 문자열 처리 basename 경로 이름 중 디렉터리가 아닌 부분만 반환. (dirname도 참고) 파일 시스템 batch 명령어를 배치 대기열에서 실행하도록 스케줄링 프로세스 관리 bc 임의 정확도 연산 언어 기타 bg 백그라운드에서 잡 실행 프로세스 관리 cc/c99 표준 C 프로그램 컴파일 C 프로그래밍 cal 달력 출력..
[TensorFlow] 텐서플로우 관련 유용한 링크 ■ TensorFlow 텐서플로우(TensorFlow™)는 데이터 플로우 그래프(Data flow graph)를 사용하여 수치 연산을 하는 오픈소스 소프트웨어 라이브러리이다. 그래프의 노드(Node)는 수치 연산을 나타내고 엣지(edge)는 노드 사이를 이동하는 다차원 데이터 배열(텐서,tensor)를 나타낸다. 원래 머신러닝과 딥 뉴럴 네트워크 연구를 목적으로 구글의 인공지능 연구 조직인 구글 브레인 팀의 연구자와 엔지니어들에 의해 개발되었다. 2017년 2월 v1.0이 Release 되었다. 텐서플로우 공식홈 : https://www.tensorflow.org텐서플로우 블로그 : https://tensorflow.blog/텐서플로우 한글 GitBook : https://tensorflowkorea.g..
The Expert (Short Comedy Sketch) 한국에서는 "개발자가 보면 암걸리는 동영상"이라는 제목으로 널리 알려진 "The Expert (Short Comedy Sketch)" - 한국어 자막 있음 Requirements - Seven Red lines . Two with red ink . Two with green ink . And the rest with transparent - All of them strictly perpendicular - One of the lines in the form of a kitten Solution : How to draw seven red lines, all perpendicular, some with green ink, some with transparent ink, and one in the form o..
Must have: Technical skills ■ Web/Internet Technologies HTTP: The Protocol Every Web Developer Must Know - Part 1https://code.tutsplus.com/tutorials/http-the-protocol-every-web-developer-must-know-part-1--net-31177 HTTP: The Protocol Every Web Developer Must Know - Part 2https://code.tutsplus.com/tutorials/http-the-protocol-every-web-developer-must-know-part-2--net-31155 - The communication protocols, languages/APIs, and o..
[Python] Regular Expressions (파이썬 정규표현식) Regular Expression (정규표현식) 정의 : 문자열에 대한 표현을 메타 문자로 표기하는 것Regular Expression 실행 : 실제 문자열을 정규표현식과 매칭여부 검증 import re ^Matches the beginning of a line 문자열의 처음과 일치 (행의 시작)$Matches the end of the line 문자열의 마지막과 일치 (행의 마지막).Matches any character 모든 문자와 일치, 개행문자(\n) 제외\sMatches whitespace 공백 문자와 매치 (\t, \n, \r, \f, \v)\SMatches any non-whitespace character 공백 문자가 아닌 문자와 매치 *Repeats a character zero or m..

티스토리툴바