규칙 15 - 빅데이터의 가치는 크기가 아니라 마이닝 능력에 있습니다
Victor Meyer-Schonberg는 "The Era of Big Data"라는 책에서 다양한 예를 제시했습니다. " , 모두 한 가지 진실을 설명하기 위해 빅 데이터 시대가 도래하면 빅 데이터 사고를 통해 빅 데이터의 잠재적 가치를 탐색해야 합니다.
빅데이터 사고란 무엇인가? Victor Meier-Schönberger는 1) 샘플링보다는 전체 데이터 샘플이 필요하고, 2) 정확성보다는 효율성에 초점을 맞추고, 3) 인과 관계보다는 상관 관계에 초점을 맞췄습니다.
우리는 빅데이터가 '빅'이 아닌 '유용성'에 있다고 믿습니다. 빅데이터 사고는 먼저 데이터의 가치를 충분히 이해하고 빅데이터를 활용해 비즈니스 의사결정의 기반을 마련하는 능력, 즉 데이터 처리를 통해 비즈니스 가치를 창출하는 능력이 필요하다.
빅 데이터 사고의 핵심은 데이터의 가치를 이해하고 데이터 처리를 통해 비즈니스 가치를 창출하는 것입니다.
'하버드 비즈니스 위크'가 지적한 데이터 과학자는 업계에서 가장 섹시한 직업입니다. 21세기. 방대한 양의 데이터를 획득한 후에는 데이터 활용 방법을 고려해야 합니다. 데이터 과학자는 과학적 방법과 데이터 마이닝 도구를 사용하여 새로운 데이터 통찰력을 찾는 엔지니어입니다. 빅데이터 시대는 데이터 과학자의 중요성과 데이터 분석을 비즈니스와 통합하는 필요성이 부각되고 있습니다. 하드웨어와 인프라를 사용하여 대량의 데이터를 생성할 수 있는 경우 누군가는 흩어져 있는 대량의 데이터를 구조화된 데이터로 변환하여 분석, 통합 및 정리하여 결과 데이터 세트를 구성해야 합니다.
인재 레이더가 대표적인 예이다. 개인의 인생 궤적, 사회적 언행 등의 개인정보가 담긴 인터넷상의 개인별 네트워크 데이터를 기반으로 이러한 데이터의 분석을 바탕으로 그의 관심 지도, 성격 초상, 데이터 마이닝을 기반으로 한 인재 추천 플랫폼인 Talent Radar는 기업이 인력과 직무를 보다 효율적으로 매칭하고 헤드헌팅 서비스를 제공하도록 돕습니다. Talent Radar는 기술 직원의 전문 기술을 평가하기 위해 전문 포럼(예: Github, CSDN, Zhihu, Dingxiangyuan 등)의 게시물 수, 콘텐츠 인용 수 및 영향력과 같은 데이터를 사용합니다. 이 정보는 전문적인 영향력에 대한 판단을 완성하기 위해 모델링되었습니다. 동시에 Weibo 데이터도 충분히 활용됩니다. 그것에 반영된 사회적 관계 역시 개인의 직업적 능력을 결정하는 요소 중 하나이다. 따라서 소셜 네트워크에서 사용자 친구의 직업적 영향력을 판단하는 것도 인재 레이더 추천 시스템의 핵심입니다. 동시에, 추천받은 사람의 개인적인 능력이 직업적 요구를 충족시키기 어려울지라도, 좋은 친구 관계를 가지고 있다면 그는 업무를 다음 단계로 확장하는 데 적합한 "추천자"가 될 수도 있습니다. 사용자마다 Weibo에 게시하는 시간 패턴, 전문 포럼에 소요되는 시간 등 소셜 네트워크에서의 행동 습관도 다릅니다. 이러한 행동 패턴을 사용하여 근무 시간 패턴을 결정하고 해당 직업을 충족하는지 확인할 수 있습니다. 요구 사항. 다양한 데이터 소스의 통합 및 분석을 통해 인재 레이더는 기업이 비용을 절감하면서 인재 채용의 효율성을 향상시키는 데 도움을 줄 수 있습니다. 전통적인 헤드헌팅 사업에 비해 그룹 지혜를 활용하면 보다 광범위하고 객관적으로 인재를 선별할 수 있으며, 수동적 측정 방법도 직접 면접에서 일부 구직자의 허위 성과를 어느 정도 방지할 수 있습니다. 현재 고객으로는 Taobao, Microsoft, Baidu 및 기타 유명 기업이 있습니다.
아마존은 2013년 12월 '예상 배송'에 대한 새로운 특허를 받았습니다. 이를 통해 회사는 고객이 '구매'를 클릭하기도 전에 상품 배송을 시작할 수 있습니다. 이 기술은 배송 시간을 단축하고 소비자가 실제 매장을 방문하는 횟수를 줄일 수 있습니다. 특허 출원서에서 아마존은 주문과 수령 사이의 지연이 "전자상거래에서 품목 구매에 대한 고객의 열정을 약화시킬 수 있다"고 밝혔습니다. 아마존은 고객이 구매할 수 있는 제품의 이전 주문과 기타 요인을 기반으로 특정 지역에서의 판매를 예측한다고 밝혔습니다. 아직 주문하지 않았으며 이러한 제품을 포장 및 배송하지 않았습니다. 특허에 따르면 이렇게 미리 배송된 상품은 고객이 주문하기 전 택배사 배송센터나 트럭에 보관된다.
"예상 배송" 품목을 예측할 때 Amazon은 고객의 과거 주문, 제품 검색, 위시리스트, 장바구니 내용, 반품은 물론 고객의 마우스 커서가 품목 위에 머무는 시간까지 고려할 수 있습니다. 이 특허는 Amazon이 경쟁 우위를 확보하기 위해 보유하고 있는 방대한 고객 정보를 활용하기를 희망한다는 것을 보여줍니다.
빅데이터의 가장 필수적인 활용은 예측(Prediction), 즉 대용량 데이터의 특정 특성을 분석하여 미래에 어떤 일이 일어날지 예측하는 것입니다. 다양한 데이터 스트림이 대규모 데이터베이스에 통합되면 예측의 폭과 정확도가 엄청나게 높아집니다.