Cognitive Computing(인지컴퓨팅)은 1950년 튜링테스트를 시작으로 꾸준히 발전해 왔는데요, 1997년 IBM에서 개발한 Deep Blue는 체스 세계 챔피언을 이기며, 최초로 사람을 이긴 컴퓨터로 이름을 알렸습니다. 이후에도 IBM은 관련 연구를 지속적으로 수행해왔는데요, 드디어 2011년 IBM이 개발한 슈퍼컴퓨터 Watson이 jeopardy 퀴즈쇼에 출연하여 우승을 하며 본격적인 Cognitive 비즈니스 시대를 열게 됩니다. IT 전문가들은 Watson의 승리를 인공지는 개발사에 큰 획을 그은 역사적 사건으로 평가합니다. (* IBM은 Artificial Intelligence(인공지능) 라는 용어 대신에 Cognitive Computing, Cognitive Business 라는 용어를 주로 사용합니다.)
지금 이순간에도 Cognitive Computing은 지속적으로 발전하고 있는데요, 원동력이 되는 것은 기하급수적으로 증가하는 비정형 데이터 입니다. 2020년이 되면 매일 인당 143GB의 데이터를 생성하며 그 중 85%가 비정형 데이터가 될 것이라고 알려졌습니다.
Watson은 심도있는 자연어이해 기술(NLP)로 데이터 간의 연간관계까지 파악하여 정답을 찾게 됩니다. 또한 정답의 근거를 뒷받침하기 위한 가설 평가를 위해, 수백개의 알고리즘이 동시에 수행되고 스코어링 엔진을 통해 여러 개의 정답 후보 중 가장 정답일 확률이 높은 최종 정답을 도출해내게 됩니다. 알고리즘과 S/W기술 뿐만 아니라 수분내에 수천개의 문서와 문헌을 분석하는 컴퓨팅 파워 또한 Watson의 장점이라고 할 수 있습니다.
기술이 어느정도 성숙단계에 이르러 최근 Watson은 헬스케어, 금융, 로봇/통역, 쇼핑/호텔과 고객서비스 등 전천후로 비즈니스에 본격적으로 활용이 되고 있습니다.
헬스케어에 적용된 Watson은 의사들에게 임상 결과 해석에 도움을 주고, 환자의 진단과 치료를 개선하는데 도움을 주고 있습니다. 특히, 최근에는 뉴욕게넘센터와 유전체 의학 발전을 위한 협업을 통해 한해 1만3천명 이상의 목숨을 빼았는 악성 뇌종양을 가진 환자들을 대상으로 맞춤형 서비스를 제공하고 있습니다. 또한 Cognitive Computing 기술을 활용하여, 신약개발과 치료법 개발 프로세스의 혁신도 이끌고 있는데요, 약품/성분간의 상호작용을 연구하여 Bio 업계에게 청신호가 되고 있다고 합니다.
금융업계에는 Watson Engagement Advisor가 적용이 되었는데요 DBS Bank의 우수고객을 대상으로 고객의 투자 선호도를 파악하고, 맞춤형 투자정보를 제공하는 맞춤형 자산관리 서비스를 제공하고 있습니다.
또한 일본의 소프트뱅크와 협업하여 교육/금융/헬스키어/보험/유통시작 공략 뿐만 아니라 3rd party 개발자들을 위한 API와 개발 플랫폼을 제공함으로써 새로운 eco-system 구축에 본격적으로 나섰습니다. 이미 5,000여 스타트업들이 Watson Ecosystem Program을 신청하였고, 500여개 회사가 Watson 기반 솔루션 개발을 시작했고, 100여개 회사들은 이미 솔루션을 출시했습니다.
Watson과 협력 개발된 소프트뱅크 로봇 페퍼(pepper)는 올해초 CES에 등장해서 많은 주목을 받았는데요, 이처럼 Watson은 하나의 제품이 아닌, 사람과 대화하는 사람을 돕는 역할을 하는 플랫폼으로 eco-system으로 앞으로도 계속 성장해나갈 예정입니다.
앞으로 우리는 Watson을 이용해서 무엇을 더 할 수 있을까요?
Watson을 기술적으로 더 이해해보고 싶으신 개발자 분들을 위해 Watson의 기술을 조금 더 알아 볼 수 있는 방법과 자료들을 단계별로 공유 드립니다.
[입문] Watson 기술 맛보기 (왓슨의 기술에 대해 소개한 영상)
What is Watson? The Science Behind an Answer (6' 42")
일부 기술적인면에 대해 touch 하면서도, 개발을 업(業)으로 하지는 않으나 조금 더 심도있는 내용을 알고 싶어 하시는 분들을 위해 이해하기 쉽게 만들어진 소개 영상입니다. 이 영상들은 Watson이 자연어로 된 질문을 받고, 답변을 찾아내는데까지 어떤 분석 절차들이 수행되는지에 대해 단계별로 친절하게 소개를 해주고 있습니다. 영어가 조금 어렵다면, Machine Learning 을 통해 자동생성되는 자막을 이용해보세요! 다소 정확도는 떨어지지만 이해하시는데는 도움이 되실거에요.
[초급] Watson 기술 이해하기 (왓슨의 기술에 대해 소개한 영상)
Building Watson – A Brief Overview of the DeepQA Project (21’ 41”)
Watson 개발을 총괄했던 David Ferrucci가 DeepQA 프로젝트와 Watson의 기술에 대해 직접 프리젠테이션을 하는 영상입니다. David는 Question Answering 시스템과 자연어처리 기술을 기반으로 하는 Watson이 질문을 받고, 답변을 찾아내는 데까지 어떻게 동작하는지, 시스템은 어떻게 구성되었는지에 대해 상세하게 설명을 하고 있습니다. 첫 번째 영상보다는 조금 더 기술적으로 가려운 부분을 긁어주는 친절한 설명서 같은 영상이랍니다.
[중급] Watson Developer Cloud을 통해 Watson REST API 및 SDK 이용해보기(*30일 평가판 무료)IBM은 Watson의 API를 전세계 개발자들에게 클라우드 기반으로 무료로 제공하고 있습니다. 어플리케이션을 쉽게 개발할 수 있는 개발자 툴킷(Toolit), 교육자료 등도 제공되고 있고, 개발 중에 궁금한 사항은 Developer Community를 통해 궁금증을 해결할 수도 있답니다.Watson Developer Cloud 와 Bluemix로 개발 시작하기Experiment with Watson APIs [한국어]
△ IBM Blumix 개발 포탈 화면
Service Document와 API ReferenceNatural Language Classifier, Speech to Text, Text to Speech, Tradeoff Analytics 등 다양한 분석 기능들을 API 호출로 직접 사용해 볼 수 있고, Node.js 나 Java로 Watson Application을 직접 개발해 볼 수도 있답니다.- Node.js 로 Watson Application 개발하기- Java 로 Watson Application 개발하기Github도 들렀다 가실게요~Watson 개발자 커뮤니티
[고급] Watson 관련 논문을 읽으며, IBM의 DeepQA 기술 A-Z 파헤쳐보기IBM은 2005년부터 Watson 개발을 시작했는데요, IBM의 “DeepQA Research Team”은 Watson의 모태가 되는 엔진 및 알고리즘을 개발한 연구조직입니다. DeepQA 연구팀은 NLP(자연어처리), ML(기계학습), IR(정보추출), KR&R(지식 표현 및 추론), 그리고 CL(제어언어)와 관련된 연구를 수행하며 2009년 2개, 2010년 4개, 2011년 16개, 그리고 2012년에는 무려 22개의 논문을 쏟아냅니다. 모두 Watson에 적용된 기술에 쓰인 논문들이죠. Watson이 Jeoperdy 퀴즈쇼에서 이긴 2011년 이후에도 2013년 9개, 2014년 3개, 2015년 4개 등 지속적으로 논문을 publish 하고 특허를 확보하면서, 지금도 꾸준히 Watson에 적용된 기술과 알고리즘을 발전시키고 있습니다.
△ Watson 을 개발한 Core Technical Team 의 2010년 조직구성
Watson의 내부를 속속들이 파헤쳐 보고 싶다구요? DeepQA팀의 연구원들이 Publish한 논문을 읽어보시면 Watson의 A-Z를 모두 만나보실 수 있답니다. 논문을 읽어보면 실험결과에 대한 재현이 가능하고, Reference 논문을 함께 참고하면 관련 기술의 맥을 파악할 수 있으며, Contribution을 통해 연구/개발자가 성능 향상을 위해 고민한 포인트까지 함께 느낄 수 있다는 장점이 있습니다.The DeepQA Research Team’s Publications수십 개가 넘는 논문을 읽기에 시간이 부족하신 여러분들을 위해, Watson이 자연어로 된 질문을 처리하고, 여러 개의 정답 중에 최종 정답을 선정하는 과정에 관련된 흥미로운 논문 몇 편을 추천하여 드립니다. 시간이 날 때 재미있게 읽어보세요! : D추천 ① Introduction to “This is Watson”, D.A. FerruchiIBM Journal of Research and Development (Vol. 56), May/June 2012추천 ② Question analysis: How Watson reads a clue, A. Lally외 7명IBM Journal of Research and Development (Vol. 56), May/June 2012추천 ③ A framework for merging and answer in DeepQA, DC Gonden외 8명IBM Journal of Research and Development (Vol. 56), May/June 2012
△ 왓슨2016닷컴(http://watson2016.com)의 이미지. 물론 합성이다.
'Biusiness Insight > Data Science' 카테고리의 다른 글
| Confusion matrix와 주요 성능지표 산출식 (0) | 2017.05.05 |
|---|---|
| [TensorFlow] 텐서플로우 관련 유용한 링크 (0) | 2017.03.12 |
| 활용 가능한 Dataset (0) | 2016.11.23 |
| Data Science & Machine Learning 관련 Coursera 추천 강의 리스트 (0) | 2016.03.20 |
| Artificial intelligence & Deep Learning (인공지능과 딥러닝) (0) | 2015.04.12 |
