국내에서 큰 데이터를 만드는 회사는 여전히 두 가지 범주로 나뉜다. 하나는 이미 큰 데이터를 얻을 수 있는 회사이다. 예를 들면 바이두, 텐센트, 알리바바 등 인터넷 거물, 화웨이, 파도, 중흥 등 국내 선두 기업, 큰 데이터, 영점, 데이터 수집, 데이터 저장, 데이터 분석, 데이터 시각화, 데이터 보안 또 다른 부류는 시장에 혁신적인 솔루션을 제공하고 시장 수요에 따라 기술 발전을 추진하는 빅 데이터 회사입니다. 이러한 대용량 데이터 응용 프로그램의 대부분은 여전히 제 3 자 회사의 서비스가 필요합니다.
점점 더 많은 응용 프로그램이 큰 데이터를 포함하고 있습니다. 수량, 속도, 다양성을 포함한 이러한 큰 데이터의 속성은 큰 데이터의 복잡성이 증가하고 있음을 보여 줍니다. 따라서 빅 데이터의 분석 방법은 빅 데이터 분야에서 특히 중요하며 최종 정보가 가치가 있는지 여부를 결정하는 결정적인 요소라고 할 수 있습니다. 이에 따라 빅데이터를 분석하는 제품이 인기 있는 것은 무엇입니까?
그중에서 가장 눈부신 스타는 Hadoop 으로, 차세대 대형 데이터 처리 플랫폼으로 인정받고 있으며, EMC, IBM, Informatica, Microsoft, Oracle 은 이미 Hadoop 을 포옹했습니다. 큰 데이터의 경우 가장 중요한 것은 데이터를 분석하여 귀중한 데이터를 발견하고 기업이 더 나은 비즈니스 결정을 내릴 수 있도록 돕는 것입니다. 이제 다음과 같은 10 대 엔터프라이즈급 빅 데이터 분석 도구를 살펴보겠습니다.
데이터가 폭발적으로 증가함에 따라, 우리는 다양한 패킷으로 둘러싸여 있다. 빅데이터의 올바른 사용은 사람들에게 큰 편리함을 가져다 주지만, 전통적인 데이터 분석에도 기술적인 도전이 되고 있다. 우리는 빅 데이터 시대에 접어 들었지만, "빅 데이터" 기술은 여전히 초기 단계에 있으며, 빅 데이터 분석 기술의 발전과 개선은 여전히 빅 데이터 분야에서 뜨거운 자리입니다.
현재 인터넷 분야에서는 빅데이터의 응용이 이미 매우 광범위한데, 특히 기업에게는 이미 빅데이터 응용의 주체가 되었다. 빅 데이터가 정말로 회사의 운영 방식을 바꿀 수 있습니까? 대답은 의심할 여지없이 긍정적이다. 기업이 빅데이터를 사용하기 시작하면서 우리는 매일 새롭고 멋진 빅데이터 앱을 보고 사람들이 진정으로 혜택을 볼 수 있도록 돕습니다. 빅데이터의 응용은 의료, 교통, 금융, 교육, 스포츠, 소매 등 우리 생활의 모든 측면에 스며들었다.
시각 분석
빅 데이터 분석 사용자는 빅 데이터 분석 전문가 및 일반 사용자를 포함 하지만, 빅 데이터 분석에 대 한 가장 기본적인 요구 사항은 시각화 분석입니다, 시각화 분석은 빅 데이터의 특성을 시각적으로 나타낼 수 있기 때문에, 또한 독자가 쉽게 받아들일 수 있기 때문에, 그림을 보고 말하는 것 처럼.
2. 데이터 마이닝 알고리즘
빅 데이터 분석의 이론적 핵심은 데이터 마이닝 알고리즘입니다. 다양한 데이터 마이닝 알고리즘은 다양한 데이터 유형과 형식을 기반으로 데이터 자체의 특징을 더욱 과학적으로 표현할 수 있습니다. 바로 이 때문에 전 세계가 통계를 내고 있습니다.
과학자들이 인정한 각종 통계 방법 (진리라고 할 수 있음) 은 자료에 깊이 들어가 공인된 가치를 발굴할 수 있다. 한편, 이러한 데이터 마이닝 알고리즘을 통해 대용량 데이터를 더 빨리 처리할 수 있기 때문입니다. 예를 들면 다음과 같습니다.
만약 알고리즘이 몇 년이 걸려야 결론을 도출할 수 있다면, 큰 데이터의 가치는 말할 수 없다.
3. 예측 분석
큰 데이터 분석의 최종 응용 분야 중 하나는 큰 데이터에서 특징을 발굴하는 예측 분석입니다. 과학적 모델링을 통해 모델을 통해 새로운 데이터를 가져와 미래의 데이터를 예측할 수 있습니다.
4. 의미 엔진
구조화되지 않은 데이터의 다양성은 데이터 분석에 새로운 과제를 야기합니다. 데이터를 체계적으로 분석하고 정제할 수 있는 도구 세트가 필요합니다. 의미 엔진은 충분한 인공지능을 설계하여 데이터에서 능동적으로 정보를 추출해야 한다.
5. 데이터 품질 및 데이터 관리 빅 데이터 분석은 데이터 품질 및 데이터 관리와 불가분의 관계에 있습니다. 학술 연구든 상업 응용이든, 고품질의 데이터와 효과적인 데이터 관리는 분석 결과의 진실성과 가치를 보장할 수 있다.
빅 데이터 분석의 기초는 위의 다섯 가지 측면이다. 물론, 빅 데이터 분석에 깊이 들어가면 더 특색 있고, 더 깊고, 전문적인 빅 데이터 분석 방법이 많이 있습니다.
빅 데이터 기술
데이터 수집: ETL 도구는 관계형 데이터, 플랫 데이터 파일 등과 같은 분산 이기종 데이터 소스의 데이터를 임시 중간 계층으로 추출하여 청소, 변환 및 통합하고 결국 데이터 웨어하우스 또는 데이터 마트에 로드하여 온라인 분석 처리 및 데이터 마이닝의 기초가 됩니다.
데이터 액세스: 관계형 데이터베이스, NOSQL, SQL 등
인프라: 클라우드 스토리지, 분산 파일 스토리지 등
데이터 처리:
자연어 처리
Processing) 은 인간-컴퓨터 상호 작용의 언어 문제를 연구하는 학문이다. 자연어 처리의 관건은 컴퓨터가 자연어를 "이해" 하게 하는 것이기 때문에 자연어 처리는 자연어 이해 및 계산언어학이라고도 한다. 한편으로는 언어 정보 처리의 한 분야이고, 다른 한편으로는 인공지능의 핵심 과제 중 하나이다.
통계 분석:
-응? 가설 검사, 중요도 검사, 차이 분석, 관련성 분석, T 검사, 분산 분석,
카이 제곱 분석, 부분 상관 분석, 거리 분석, 회귀 분석, 단순 회귀 분석, 다중 회귀 분석, 단계별 회귀, 회귀 예측 및 잔차 분석, 릿지 회귀, 로지스틱 회귀 분석, 곡선 추정,
요인 분석, 클러스터 분석, 주성분 분석, 요소 분석, 빠른 클러스터 방법 및 클러스터 방법, 판별 분석, 대응 분석, 다중 대응 분석 (최적 규모 분석), bootstrap 기술 등
데이터 마이닝:
분류, 추정, 예측, 관련 그룹핑 또는 연관 규칙 (유사성
그룹화 또는 상호 관계 규칙), 클러스터링, 설명 및 시각화, 설명 및
시각화), 복잡한 데이터 유형 (텍스트, 웹, 그래픽 및 이미지, 비디오, 오디오 등) 의 마이닝 ) 을 참조하십시오
모델 예측: 예측 모델, 기계 학습, 모델링 및 시뮬레이션
제시된 결과: 클라우드 컴퓨팅, 태그 클라우드, 다이어그램 등
빅 데이터 처리
1. 빅 데이터 처리 중 하나: 수집
대용량 데이터 수집은 여러 데이터베이스를 사용하여 클라이언트 (웹, App, 센서 양식 등) 로부터 데이터를 수신하는 것을 말합니다. ).
사용자가 간단한 조회 및 처리에 사용할 수 있는 데이터 예를 들어, e-business 는 다음을 제외하고 기존의 관계형 데이터베이스인 MySQL 과 Oracle 을 사용하여 모든 거래 데이터를 저장합니다
또한 Redis, MongoDB 와 같은 NoSQL 데이터베이스도 데이터 수집에 자주 사용됩니다.
대량의 데이터를 수집하는 과정에서 주요 특징과 과제는 동시에 수천 명의 사용자가 있을 수 있기 때문에 높은 동시성입니다.
기차표 발권 사이트 및 타오바오와 같은 액세스 및 운영의 경우 동시 방문이 최고조에 달할 때 수백만 명에 달하므로 채집측에 대량의 데이터베이스를 배치하여 지원해야 합니다. 이러한 데이터베이스 간에 통신하는 방법에 대해 설명합니다.
로드 밸런싱 및 조각화는 확실히 심층적인 사고와 설계가 필요하다.
대용량 데이터 처리 II: 가져오기/전처리
채집단 자체에는 많은 데이터베이스가 있을 수 있지만, 이런 방대한 데이터를 효과적으로 분석하려면, 이것을 넣어야 한다.
프런트 엔드의 일부 데이터는 중앙 집중식 대규모 분산 데이터베이스 또는 분산 스토리지 클러스터로 가져와 가져오기를 기반으로 간단한 정리 및 사전 처리 작업을 수행할 수 있습니다. 어떤 사용자들도 만들 수 있습니다.
Twitter 의 Storm 은 일부 기업의 실시간 컴퓨팅 요구 사항을 충족하기 위해 데이터 스트림을 전송하는 데 사용됩니다.
가져오기 및 사전 처리 프로세스의 특징과 과제는 주로 가져오는 데이터의 양이 많으며, 종종 초당 100 조, 심지어 기가비트 수준에 도달한다는 것입니다.
빅 데이터 처리 III: 통계/분석
통계 및 분석은 주로 분산 데이터베이스 또는 분산 컴퓨팅 클러스터를 사용하여 저장된 대량의 데이터를 일반적으로 활용합니다.
가장 일반적인 분석 요구 사항을 충족하기 위해 일부 실시간 요구 사항에는 EMC 의 GreenPlum, Oracle 의 데이터베이스 클라우드 서버 및 기반 데이터베이스가 사용됩니다.
MySQL 은 Infobright 를 열에 저장하고, Hadoop 는 일부 배치 또는 반정형 데이터 요구 사항에 사용할 수 있습니다.
통계 및 분석의 주요 특징 및 과제는 분석에 관련된 데이터의 양이 많고 시스템 자원, 특히 I/O 를 많이 차지한다는 것입니다.
빅 데이터 처리 IV: 마이닝
이전의 통계 및 분석 프로세스와 달리 데이터 마이닝은 일반적으로 사전 설정된 주제가 없으며 주로 기존 수에 있습니다
이러한 다양한 알고리즘을 기반으로 한 계산을 통해 예측 효과를 얻을 수 있으며 일부 높은 수준의 데이터 분석 요구 사항을 충족할 수 있습니다. 일반적인 알고리즘에는 클러스터된 kmeans, 클러스터된 kmeans, 클러스터된 kmeans, 클러스터된 kmeans, 클러스터된 Kmeans 가 있습니다.
통계 학습을 위한 SVM 과 분류를 위한 NaiveBayes 는 주로 Hadoop 의 Mahout 과 같은 도구를 사용합니다. 이 과정의 특징과 도전은 발굴을 위한 알고리즘이 매우 복잡하다는 것이다
또한 계산에 관련된 데이터의 양과 계산량이 매우 크며, 일반적으로 사용되는 데이터 마이닝 알고리즘은 주로 단일 스레드입니다.