컴퓨팅 능력은 가치가 있습니다. 데이터와 알고리즘에는 더 많은 컴퓨팅 지원이 필요합니다.
인공지능 발전의 세 가지 주요 요소 중 데이터든 알고리즘이든 컴퓨팅 능력의 지지와 불가분의 관계에 있다는 것은 잘 알려져 있으며, 컴퓨팅 능력은 이미 인공지능 발전의 핵심 요소가 되었다.
IDC 가 발표한' 데이터 시대 2025' 보고서에 따르면 20 1zb = 100bb) 의 글로벌 데이터 양은 2025 년까지 175ZB 로 증가할 것으로 예상됩니다.
세이디 컨설턴트에 따르면 2030 년까지 원시 데이터 생산산업 규모는 경제 총량의 15%, 중국 데이터 총량은 4YB 를 넘어 전 세계 데이터 총량의 30% 를 차지할 것으로 전망된다. 데이터 자원은 이미 중요한 생산 요소가 되었다. 더 많은 업계가 사물인터넷, 산업인터넷, 전자상거래 등 구조화되지 않은 구조화되지 않은 데이터 자원을 이용하여 귀중한 정보를 추출하며, 대량의 데이터 처리와 분석은 컴퓨팅 능력에 큰 수요가 있을 것이다.
알고리즘적으로 고급 모델의 매개변수와 복잡성은 기하급수적으로 증가합니다. Open AI 가 이전에 발표한 연구에 따르면 이러한 대형 모델을 훈련시키는 데 필요한 컴퓨팅 자원은 3 ~ 4 개월마다 두 배로 늘어납니다 (반면 무어 법칙의 두 배 주기는 18 개월). 20 12 에서 20 18 까지 심화 학습 프론티어 연구에 필요한 컴퓨팅 리소스가 30 만 배 증가했습니다.
2020 년까지 심도 있는 학습 모델의 컴퓨팅 능력에 대한 수요는 하루에 수십억 회에 이를 것이다. 2020 년 2 월, Microsoft 는 654.38+07.5 억의 높은 매개 변수인 Turing -NLG, 654.38+025 의 POPAI 컴퓨팅 능력으로 1 회 훈련을 완료하는 데 하루 이상이 걸린다는 최신 지능형 인식 컴퓨팅 모델을 발표했습니다. 이후 OpenAI 는 GPT-3 모델을 제시했고, 매개변수는 654 억 38+075 억, 컴퓨팅 용량 소비는 3640 PetaFLOPS/s-day 에 달했다. GPT-3 가 나온 지 1 년도 채 안 되어 더 크고 복잡한 언어 모델, 즉 매개변수가 1 조 개가 넘는 언어 모델인 SwitchTransformer 가 나왔다.
대량의 데이터의 급속한 증가와 더 복잡한 모델이 컴퓨팅 능력에 더 큰 도전을 불러일으키고 있음을 알 수 있습니다. 컴퓨팅 능력을 빠르게 향상시킬 수 없다면, 대규모 데이터가 인공지능 교육 학습에 사용될 때, 데이터 양이 메모리와 프로세서의 상한선을 초과할 것이며, 전체 심도 있는 학습과 훈련 과정은 매우 길어질 것이며, 심지어 가장 기본적인 인공지능조차도 실현할 수 없게 될 것이다.
효율이 높은 가격: 환경과 실제 비용이 높기 때문에 효율성 향상이 시급하다.
계산업계에서는' 디지털 처리가 점점 더 저렴해질 것' 이라는 가정이 있다. 그런데 스탠포드 인공지능연구소 부소장인 크리스토퍼? Manning 은 기존 인공지능 어플리케이션의 경우, 특히 연구의 복잡성과 경쟁력의 증가로 인해 최첨단 모델의 교육 비용이 지속적으로 상승하고 있다고 밝혔다.
매사추세츠 대학 암허스트 연구원이 발표한 연구 논문에 따르면, 몇 가지 일반적인 대형 AI 모델의 훈련 주기를 예로 들자면, 이 과정은 62 만 6 천 파운드 이상의 이산화탄소를 배출할 수 있으며, 일반 자동차 수명 주기 배출량의 거의 5 배에 달합니다 (자동차 자체의 제조 과정 포함).
예를 들어 자연어 처리 방면에서 연구원들은 이 분야에서 성능 향상이 가장 큰 네 가지 모델인 Transformer, ELMo, BERT, GPT-2 를 연구했다. 연구원들은 전력 소비량을 측정하기 위해 단일 GPU 에 대해 최소 하루 동안 교육을 실시했다. 그런 다음 모델 원본 논문에 나열된 몇 가지 지표를 사용하여 전체 프로세스에서 소비되는 총 에너지를 계산합니다.
그 결과 교육 컴퓨팅 환경의 비용은 모델 크기에 비례한 다음 추가 조정 단계를 사용하여 모델의 최종 정밀도를 높이면 비용이 폭발적으로 증가한다는 것을 알 수 있습니다. 특히 신경 네트워크의 아키텍처를 조정하여 가능한 한 상세한 실험을 완료하고, 모델을 최적화하는 과정은 관련 비용이 매우 높고, 성능 이득이 거의 없다. 버트 모델의 탄소 발자국은 약 1400 파운드의 이산화탄소로, 한 사람이 미국을 오가는 배출량에 해당한다.
또한 연구원들은 단일 모델을 훈련시키는 데 필요한 작업이 여전히 비교적 적기 때문에 대부분의 연구원들이 처음부터 새 모델을 개발하거나 기존 모델에 대한 데이터 세트를 변경하는 데 더 많은 시간을 할애할 수 있기 때문에 교육과 조정에 더 많은 시간을 할애할 수 있다고 지적했다. 즉, 이로 인해 에너지 소비가 늘어날 수 있습니다. 계산에 따르면 최소 4789 개의 모델이 6 개월 이내에 훈련을 받아야 최종 가치 있는 모델을 만들고 테스트할 수 있어 탄소 배출량으로 환산해 7 만 8 천 파운드가 넘는다. AI 컴퓨팅 능력이 향상됨에 따라 이 문제는 더욱 심각해질 것이다.
Synced 의 최근 보고서에 따르면 워싱턴 대학의 Grover 는 더 큰 Grover Mega 모델을 훈련시키는 데 드는 총 비용이 2 만 5 천 달러인 허위 뉴스를 생성하고 테스트하기 위해 노력하고 있습니다. OpenAI 비용 12 만 달러 교육 GPT-3 언어 모델 구글은 약 6,965,438+02 달러를 들여 버트를 훈련시켰고, 페이스북은 전기에만 수백만 달러를 들여 현재 가장 큰 모델을 1 차 훈련시켰을 것이다.
이에 대해 페이스북 인공지능 부사장 제롬? 페이센티는' 연결' 잡지와의 인터뷰에서 AI 과학연구비용이 계속 증가하거나 이 분야에서의 연구가 벽에 부딪쳤다고 주장했다. 이제 가격 대비 성능 등을 고려해야 하며, 기존 컴퓨팅 능력을 최대한 활용할 수 있는 방법을 알아야 합니다.
AI 컴퓨팅 시스템은 컴퓨팅 플랫폼의 최적화 설계, 복잡한 이기종 환경에서의 컴퓨팅 효율성, 컴퓨팅 프레임워크의 높은 병렬 처리 및 확장성, AI 어플리케이션의 컴퓨팅 성능 등에 직면해 있습니다. 컴퓨팅 능력의 발전은 전체 컴퓨팅 요구에 더 큰 도전을 제기할 것이며, 전체 AI 컴퓨팅 시스템의 효율성을 높여야 할 필요성이 절실하다.
최적의 해결책: 지능형 컴퓨팅 센터의 대세는 국가 공공시설의 속성에서 출발해야 한다.
컴퓨팅 능력에 대한 수요가 점점 커지고 효율성을 높여야 하기 때문에 거대한 AI 컴퓨팅 요구를 호스팅하는 컴퓨팅 능력 센터 (데이터 센터) 를 구축하는 것이 급선무다.
시장 조사 기관인 Synergy Research Group 에 따르면 2020 년 2 분기 말까지 전 세계 초대형 데이터 센터의 수가 54 1 으로 증가하여 20 15 년 동기에 비해 두 배 이상 증가했습니다. 또한 176 개의 데이터 센터가 계획 또는 건설 단계에 있지만 기존 데이터 센터로서 에너지 소비량과 비용이 크게 증가합니다.
국내 데이터 센터 구축만을 예로 들자면, 현재 데이터 센터의 전력 소비량은 엄청납니다. "중국 데이터 센터 에너지 소비 현황 백서" 에 따르면 중국에는 40 만 개의 데이터 센터가 있으며, 각 데이터 센터당 평균 25 만 킬로와트시를 소비하며, 총 6543.8+0 억 킬로와트시를 넘으면 삼협과 갈주바 수력발전소 654.38+0 년 발전량의 합계에 해당한다. 탄소 배출량으로 환산하면 약 9600 만 톤으로 현재 중국 민항 연간 탄소 배출량의 3 배에 육박한다.
그러나 국가 표준에 따르면 2022 년까지 데이터 센터의 평균 에너지 소비량은 기본적으로 국제 선진 수준에 이르렀으며, 새로운 대형 및 초대형 데이터 센터 PUE (에너지 효율이 낮을수록 에너지 절약) 는 1.4 이하에 달했다. 또한 북상 광심 등 선진 지역의 에너지 소비 지표 통제는 여전히 엄격하다. 이는 1, 2 선 도시의 중앙 집중식 데이터 센터 수요와 모순된다. PUE 를 낮추는 것 외에도 동등한 컴퓨팅 능력의 경우 서버, 특히 데이터 센터의 컴퓨팅 효율성을 높이는 것이 긍정적인 해결책이어야 합니다.
그러나, 이미 잘 알려진 사실은, 앞서 언급한 거대한 AI 컴퓨팅 요구와 효율성 향상 과제에 직면하여, 기존 데이터 센터는 이미 이러한 요구를 감당하기 점점 어려워지고 있다는 것이다. 이를 위해 AI 서버와 지능형 컴퓨팅 센터가 등장했습니다.
기존 서버가 단일 CPU 를 사용하는 것과는 달리 AI 서버에는 일반적으로 GPU, FPGA, ASIC 등의 가속 칩이 장착되어 있습니다. CPU 와 가속 칩의 결합은 높은 처리량 상호 연결의 요구를 충족하고 자연어 처리, 컴퓨터 시각, 음성 상호 작용 등 인공지능 응용 프로그램 시나리오에 대한 강력한 컴퓨팅 지원을 제공하여 인공지능 발전의 중요한 지지력이 되었다.
우리가 AI 서버 분야에서 이미 선두를 달리고 있다는 점은 주목할 만하다.
최근 IDC 는' 2020HI 글로벌 인공지능 시장 반기 추적 보고서' 를 발표해 2020 년 상반기 글로벌 인공지능 서버 시장에 대한 데이터 통찰을 실시했다. 현재 전 세계 반년 인공지능 서버 시장 규모는 55 억 9000 만 달러 (약 326 억 6 천만 위안) 에 달하며, 이 가운데 물결은 16.4% 의 시장 점유율로 세계 1 위를 차지하며 전 세계 AI 서버 1 위 게이머로 자리잡았고 화웨이와 레노버는 상위 5 위 () 에 올랐다.
여기서 업계는 왜 중국이 AI 서버에서 세계를 앞서는지 의아해할 것이다.
물결을 예로 들다. 1993 물결이 국내 최초의 소형 폼 팩터 서버를 성공적으로 개발한 이후 30 년간의 축적을 통해 고속 상호 연결 칩, 주요 어플리케이션 호스트, 핵심 데이터베이스, 클라우드 데이터 센터 운영 체제 등 다양한 핵심 기술을 공략했습니다. , 이미 전 세계 하이엔드 서버 클럽에서 중요한 위치를 차지하고 있습니다. AI 서버 분야에서는 세계 밀도가 가장 높은 AGX-2 에서 성능이 가장 높은 AGX-5 에 이르기까지 업계 최강의 인공지능 슈퍼서버 기록을 지속적으로 경신하는 물결은 업계 사용자의 인공지능 컴퓨팅에 대한 고성능 요구 사항을 충족하기 위해 만들어졌습니다. 파도는 업계 고객들이 인공지능을 얻기를 원하지만 인공지능과 기술을 습득해야 하는 회사가 능력을 발휘해야 한다는 것을 항상 믿고 있으며, 파도는 이 역할을 잘 할 수 있다. 인공지능의 착지 속도를 높여 기업 사용자가 인공지능 앱의 문을 열 수 있도록 도와준다.
이러한 관점에서 기술 혁신의 장기 축적, 핵심 기술의 숙달, 산업과 기술에 대한 정확한 판단과 연구개발이 선두의 근본이다.
지능형 컴퓨팅 센터와 관련해 지난해 발표된' 지능형 컴퓨팅 센터 계획 건설 가이드' 는 지능형 컴퓨팅 센터의 기술 아키텍처를 발표했다. 최신 인공지능 이론을 바탕으로 선도적인 인공지능 컴퓨팅 아키텍처를 채택하여 계산력 생산, 집합, 스케줄링, 석방을 통해 디지털 경제, 지능 산업, 스마트 도시, 스마트 사회 응용 및 생태 건강 발전을 지원하고 선도합니다.
결론적으로, 지능시대의 지능형 컴퓨팅 센터는 공업시대의 발전소와 같다. 발전소는 외부에 전기를 생산, 구성, 전송 및 사용합니다. 지능형 컴퓨팅 센터는 AI 컴퓨팅 기능을 생성, 집계, 스케줄링 및 해제하는 과정에서 데이터를 넣고 지능적으로 나오는 것이 지능형 컴퓨팅 센터의 이상적인 목표입니다.
기존 데이터 센터와 달리 지능형 컴퓨팅 센터는 고밀도 중앙 집중식 컴퓨팅 기능뿐만 아니라 컴퓨팅 자원, 데이터 및 알고리즘의 스케줄링 및 효율적인 활용 문제를 해결하며 계산기에서 뇌로의 진화와 비슷합니다. 또한 개방형 표준, 집약적이고 효율적인 범용 포용의 특징은 더 많은 하드웨어 및 소프트웨어 기술과 제품의 통합을 포괄할 수 있을 뿐만 아니라, 산업 AI 에 대한 접근 및 적용 임계값을 크게 줄여 전 국민의 이익을 얻을 수 있습니다.
실제로 자세히 살펴보면 지능형 컴퓨팅 센터에 포함된 컴퓨팅 기능의 생성, 집계, 스케줄링, 방출은 전체 스택 AI 기능을 갖춘 AI 기능 모음으로 볼 수 있습니다.
여기서, 우리는 다시 한 번 물결을 예로 들어, 전체 스택 AI 능력이 무엇인지 볼 수 있습니다.
예를 들어, 컴퓨팅 용량 생산 수준에서 물결은 업계에서 가장 강력하고 포괄적인 AI 컴퓨팅 제품 어레이를 구축했습니다. 이 가운데 물결이 개발한 차세대 인공지능 서버 NF5488A5 는 2020 년 MLPerf AI 추리를 단번에 깨뜨렸다. 교육 벤치마킹 19 세계 기록 (컴퓨팅 능력 향상을 위한 충분한 컴퓨팅 능력 보장) 컴퓨팅 스케줄링 수준에서 웨이브 AIStation 인공 지능 개발 플랫폼은 AI 모델 개발 교육 및 추론 배포를 위한 전체 플랫폼, 전체 프로세스 관리 지원을 제공하여 기업이 자원 활용도 및 개발 효율성을 90% 이상 향상시키고 AI 개발 및 애플리케이션 혁신을 가속화할 수 있도록 지원합니다 (컴퓨팅 효율성 문제 해결). 전체 컴퓨팅 용량 측면에서 물결은 소프트웨어 스택을 최적화하기 위해 더욱 효율적이고 지연 시간이 짧은 하드웨어 가속 장치를 계속 구축하고 있습니다. 컴퓨팅의 여유 확보에 있어서, AutoML Suite 는 인공지능 고객과 개발자에게 AI 모델을 빠르고 효율적으로 개발할 수 있는 기능을 제공하고, 완전 자동 AI 모델링의 새로운 방식을 열어 산업 응용 프로그램을 가속화했습니다.
그럼 다음, 지능형 컴퓨팅 센터는 어떤 발전 경로를 취해야 역할을 충분히 발휘할 수 있고, 사물이 최대한 활용할 수 있을까? (윌리엄 셰익스피어, 스마트 컴퓨팅 센터, 스마트 컴퓨팅 센터, 스마트 컴퓨팅 센터, 스마트 컴퓨팅 센터, 스마트 컴퓨팅 센터)
IDC 연구에 따르면 기업의 90% 이상이 3 년 이내에 인공지능을 사용하고 있거나 사용할 계획인데, 그 중 74.5% 는 향후 혁신적인 비용을 절감하고 컴퓨팅 자원의 가용성을 높이기 위해 실용적인 인공지능 전용 인프라 플랫폼을 채택할 것으로 기대하고 있다.
이러한 관점에서 볼 때, 지능형 컴퓨팅 센터 건설의 공공성 원칙은 현재와 미래에 특히 중요하다. 즉, 지능형 컴퓨팅 센터는 수익성 있는 인프라가 아니라 수리시스템, 수도 시스템, 전력 시스템과 같은 공공성, 공공성 기반시설이어야 한다. 지능적인 주민생활 서비스와 지능적인 정부 서비스를 호스팅할 것이다. 따라서 지능형 컴퓨팅 센터의 계획 및 건설 과정에서 시장 경쟁을 통해 달성해서는 안 되는 배치를 잘 해야 하며, 사회 전체의 지능형 프로세스를 추진하는 정부의 계획, 리듬 및 배치를 반영해야 합니다.
요약: 현재, 컴퓨팅 능력은 이미 디지털 경제를 추진하는 기초가 되어 중국의' 새로운 인프라' 의 기초가 되었으며, 어떻게 이성적으로 그 발전에 직면한 도전을 바라보고, 끊임없이 컴퓨팅 능력을 향상시킴으로써 효율을 높이고, 최상의 발전 전략과 형식을 취하고, 최적의 해결책을 찾는 것이 정부 관련 부서와 관련 기업의 우선 순위가 될 것입니다.