데이터화를 정보사회의 초급 단계로 본다면, 잘 알려지지 않은 영국 과학자 빅토르 마이어 쇤버그 (Victor Mayer-schoenberg) 가 새 책인 빅데이터 시대 (The Age of Big Data) 로 처음으로 알려준다.

이 단계에서 정보는 어디에나 있다. 무한히 팽창하는 천문학적 품질은' 통계+분류-추리분석 = 결정' 의 컴퓨터 처리기 (

빅 데이터 점화

정기적으로 소비자가격지수 CPI 를 발표해 인플레이션률을 모니터링하기 위해 미국 정부는 미국 전역의 90 개 도시에 있는 상점과 사무실을 전화와 팩스로 방문하고 2 억 5 천만 달러를 들여 8 만 종의 상품가격에 대한 지연 정보를 수집했다. 하지만 MIT 의 두 경제학자는' 빅 데이터' 방안을 채택하여 소프트웨어를 통해 매일 인터넷에서 50 만 가지의 상품 가격에 대한 실시간 정보를 수집한다. 2008 년 9 월 리먼 브라더스가 파산하자 소프트웨어는 인플레이션이 통축되는 추세를 즉각 발견했고, 공식 데이터는 1 1 까지 발견되지 않았다. 그 이후로 이 소프트웨어는 70 여개국에 판매되었다. 이 사례는' 빅 데이터' 가 전통의 힘과 사고를 바꾸는 지혜를 충분히 보여준다.

"작은 데이터" 시대에, 우리는 정확도를 추구하고, 부정확한 정보의 오도와 오판을 피하려고 노력한다. 그러나 기존 데이터베이스에 의해 거부된 비정형 (비표준) 데이터의 95% 는' 빅 데이터' 시대의 모호한 데이터베이스에서 중요한 역할을 합니다. 데이터가 모호하고 포괄적일수록 오도와 오심을 효과적으로 피할 수 있기 때문입니다.

인과성에서 상관관계에 이르는 사고의 전환은' 대데이터' 가 전통적인 인식론 모델을 뒤엎는 관건이다. 결국 컴퓨터는 인뇌가 아니기 때문에 컴퓨터는 기후와 항공권 가격 사이의 인과관계를 영원히 이해하지 못할 것이다. 수탉 울음소리와 여명 사이에는 인과관계가 없지만, 고대인들은 수탉 울음소리를 통해 여명 예측을 거의 하지 못했다. 수백만 건의 병력에 따르면 오렌지 주스와 아스피린의 특정 조합이 암 치료에 효과적이라면 반복적인 실험을 통해 구체적인 약리 메커니즘을 탐구할 필요가 없다. 애플의 아버지' 잡스는 자발적으로 효과적인 병력이 있지만 항암할 수 있는 임상 증명서가 없는 치료법을 시도했다. 너는 잡스가' 과학을 말하지 않는다' 는 것을 비웃을 수 있지만, 그는 오히려 몇 년을 더 살았다.

소위' 빅 데이터 도전 전통 인식론' 은 근본적으로 복잡한 인지 과정을 모두 컴퓨터에 포장하고, 컴퓨터는 추리와 검증을 분석하기에는 게으르다. 통계 분류 비교를 통해서만' 최종 답안' 을 제출할 수 있다. 빅데이터의 본질은' 적고 정밀함' 을' 다만함' 으로,' 인과' 를' 연관' 으로 바꾸는 것이다. 현장 연구가 데이터 수집으로 대체되기 시작했을 때, 엄밀한 실험이 비선형 논리로 대체되기 시작했을 때,' 유일한 진리' 가 여러 가지 선택으로 대체되기 시작했을 때,' 대데이터' 는 사실로 인류에게' 왜 그런지, 왜 그런지 모르겠다' 고 선언했다. 이것은 컴퓨터가 인간의 뇌를 보는 열세일 뿐만 아니라 컴퓨터가 인간의 뇌를 초월하는 장점이기도 하다!

빅 데이터가 전 세계에 스며든다

빅 데이터' 가 공상과학 이야기일 뿐이라고 생각하지 마라. 혹은 정부와 과학자 사이의' 특허' 라고 생각하지 마라. "빅 데이터" 는 이미 우리 삶의 모든 측면에 스며들어 데이터 마트, 데이터 이베이, 데이터 친구, 데이터 친구, 데이터 워크샵, 데이터 교실, 데이터 IB 등 다양한 전설적인 버전을 탄생시켰습니다. 치안관리, 교통운송, 의료위생, 상업무역, 도매소매, 공익구조에서 정치, 군사, 경제, 금융, 사회, 환경, 문예, 스포츠에 이르기까지.

2000 년 이후 UPS 국제택배사는 미국 전역에 있는 6 만 대의 트럭 차량을' 빅 데이터' 를 통해 모든 마모 부품의 수명 주기를 집계하고' 백업 운반' 을 조기 교체로 바꿔 중도 고장으로 인한 심각한 번거로움과 막대한 손실을 효과적으로 방지해 연간 수백만 달러를 절약해 왔다. UPS 는 또한 "빅 데이터" 에 의존하여 주행 경로를 최적화합니다 (예: 가능한 오른쪽으로 돌아서 좌회전을 피하십시오). 20 1 1 년, 이 회사의 차량은 4828 만 킬로미터를 적게 달렸고, 300 만 갤런의 연료를 절약하고 3 만 톤의 탄소 배출을 줄였다.

뉴욕에 전력 지원을 제공하는 에디슨 전력 회사는' 빅 데이터' 로 106 가지 경보 신호를 집계해 2009 년 사고가 발생할 수 있는 우물 뚜껑을 예측하고 엄격하게 감시했다. 그 결과 10 대 고위험 우물 뚜껑 중 예측 정확도가 44% 에 달했다.

미국 리치만 경찰 당국은 경험에 근거하여 총격 사건이 종종 범죄의 최고봉으로 이어진다고 인정했다. 빅 데이터' 는 이 최고치가 총격 사건이 발생한 지 2 주 정도 되는 경우가 많다는 것을 증명한다. 2006 년 피스시는 범죄가 더 발생하기 쉬운 곳과 범인이 더 쉽게 잡힐 수 있는 시간을 잠그는' 빅 데이터' 시스템을 출시하여 중대한 범죄의 발생률을 26% 낮췄다.

2004 년 월마트는' 빅 데이터' 에 의존해 허리케인 직전 각종 판매량이 증가한 상품을 발견한 뒤 매번 예측할 때마다 허리케인용품 지역을 제때 설치하고 해당 지역 근처에 손전등, 아침식사 간식, 에그타르트를 배치해' 겸사겸사' 판매량을 크게 늘렸다.

빅 데이터' 의 경제적 가치에 관해서는 몇 가지 예만 들어보면 된다. 2006 년 마이크로소프트는1..1억 달러로 Ezioni 에 위치한 Farecast 회사를 인수했고, 2008 년에는 구글이 7 억 달러를 인수했다. 같은 해 아이슬란드에 설립된 DataMarket 사이트는 단순히 유엔, 세계은행, 유럽연합통계청 등 권위 있는 기관의 무료 정보를 수집하고 제공하는 것으로 수익을 올리고 있습니다. 각종 연구기관이 공개한 연구자료를 되넘기는 것을 포함해서 구매자를 찾기만 하면 고가를 내는 경우가 많습니다! (데이비드 아셀, Northern Exposure (미국 TV 드라마), 예술명언)

빅 데이터는 빅 금융을 창출합니다.

금융 분야는 당연히' 빅 데이터' 의 주전장 중 하나이다. 절차적 거래는 아마도 오늘날' 빅 데이터' 에서 가장 중요한 신무기일 것이다. 미국 주식시장의 일일 거래량은 70 억 주에 달하지만 거래량의 3 분의 2 는 사람이 운영하는 것이 아니라 수학 모델과 알고리즘을 기반으로 한 컴퓨터 프로그램에 의해 자동으로 이루어진다. 변화무쌍한 절차적 거래는 대량의 데이터로 수익을 예측하고 위험을 줄일 수밖에 없다. 거의 모든 은행, 브로커, 보험, 선물, QFII, 투자회사는 자체 절차적 거래 도구를 개발했다. 누구의 무기가 더 진보했는가? 결국 경쟁은 누가 데이터를 수집하고 처리하는 것보다 더 클 것 같다.

모 투자펀드는 쇼핑몰 주변 주차장과 길목의 교통 혼잡을 집계해 쇼핑몰 운영과 현지 경제상황을 예측해 관련 주가의 추세를 예측했다. 결국 그것은 통계가 있는 쇼핑몰에서 약간의 주식을 받았다.

많은 헤지펀드들은 소셜 사이트 트위터에서 시장 감정 등의 정보를 수집하여 주식시장의 성과를 예측했다. 런던과 캘리포니아의 두 헤지펀드는' 대데이터' 를 이용하여 1 19 안문과 18864 독립지수를 형성하여 많은 고객들에게 주식시장의 매분마다' 동적 표정' 을 홍보한다

오늘날 금융기관들은 고객을 유치하여 재테크를 하고 있다. 만약 제때에 대량의 웨이보, 위챗, 문자를 수집하고 처리할 수 있다면, 당연히 계좌를 개설하거나 서둘러' 이직' 할 투자자를 찾을 수 있을 것이다.

물론 투자자들이' 빅 데이터' 를 통해 직접 결정을 내리고' 신용카드 소비' 를' 신용카드 투자' 로 확대할 수 있다면' 와룡와호' 의 연구는 앞으로 시장이 있을 것인가?

큰 데이터는 큰 위험을 숨기고 있다.

모든 새로운 것들과 마찬가지로, 큰 데이터는 양날의 검이다. 거시적으로' 빅 데이터' 는 인간 가상화를' 데이터' 와 다른 분야의' 데이터' 로 나눕니다. 진행 중인 프리즘문 사건은 미국 정부가 오랫동안 세계를 감시하는' 극비' 를 폭로했다. 그러나 미국 대통령, 국회, 정부는 이 감시가' 자연' 과' 국가 핵심 이익 보호' 라는 것을 인정한다. 사회는 이미 개인 정보의 안전을 보장하기 위해 방대한 법률 법규를 확립했지만,' 빅 데이터' 시대에는 난공불락이 되고 자유롭게 우회할 수 있는' 마치노 방어선' 이 되고 있다.

빅 데이터' 로 인해 개인 정보가 거래되고 개인 프라이버시가 유출된다. 더 큰 위험은' 개인의 행동이 예측된다' 는 것이다. 저자가 예언한 바와 같이, "우리가 병에 걸리거나, 상환을 체납하거나, 범죄를 저지를 수 있다는 것을 예측할 수 있는 알고리즘 절차들은 우리가 보험을 사지 못하게 하고, 대출을 받지 못하게 하고, 심지어 범죄 전에 조기 체포될 수도 있다" 고 합니다. 아마도 당신은 이것이 사회 전체에 좋은 일이라고 생각할지도 모릅니다. 그러나 예측 시스템이 완벽하지 않고, 하드웨어 및 소프트웨어 오류가 있고, 데이터 수집 처리가 부적절하고, 임시 데이터가 테스트되지 않고, 해커가 공격하고, 악의적이거나 선의적인 농담으로 허위 정보를 만드는 사람이 있다면 ... 당신, 가족, 친구, 당신의 단위, 심지어 당신의 조국까지 억울함과 제재를 받게 된다면, 당신은 여전히 무관심할 수 있습니까? (데이비드 아셀, Northern Exposure (미국 TV 드라마), 가족명언)

미시적으로 정당한 목적으로 수집한' 대데이터' 조차도' 확장 발전' 과정에서 상상할 수 없는 부작용이 발생할 수 있다. 예를 들어, 구글의 거리 장면 촬영과 GPS 데이터는 위성 위치 확인 및 자동 운전에 대한 핵심 지원을 제공하지만, 범죄자들이 유리한 목표를 쉽게 선택할 수 있도록 도와 많은 나라 국민들의 강력한 항의를 불러일으켰다. 구글이 이미지 배경에서 업주의 집, 정원 등의 목표를 모호하게 한 후 더 많은 도둑들의 주의를 끌었다.

당신이 놀라든 두려워하든, 환영하든 피하든, 관심을 기울이든 무시하든, 이해하든 거절하든,' 빅 데이터' 는 가속화된 발걸음으로 우리에게 다가오고 있다. 순세에 따라 이익을 피하고 해를 피해야 기회와 도전으로 가득 찬 이 새로운 시대에 미리 탈락하지 않을 수 있다.

변쇼가 큰 데이터의 큰 영향에 대해 공유해 준 내용이다. (윌리엄 셰익스피어, 빅데이터, 빅데이터, 빅데이터, 빅데이터, 빅데이터) 더 많은 정보는 전 세계 아이비리그가 더 많은 건품을 공유하는 것에 집중할 수 있다.