첫째, 심화 학습 기술의 현황
심도 있는 학습은 이번 인공지능 대폭발의 핵심 기술이다. 인공지능 기술은 컴퓨터 시각과 자연어 처리 방면의 돌파로 인공지능의 새로운 폭발적인 발전을 맞았다. 심화 학습은 이러한 돌파구를 실현하는 핵심 기술입니다. 그 중에서도 심도 컨볼 루션 네트워크를 기반으로 한 이미지 분류 기술은 인간의 눈의 정확도를 능가하고, 심도 신경 네트워크를 기반으로 한 음성 인식 기술은 이미 95% 의 정확도에 이르렀으며, 심도 신경 네트워크를 기반으로 한 기계 번역 기술은 이미 인간의 평균 번역 수준에 근접해 있다. 정확도의 대폭 향상으로 컴퓨터 시각과 자연어 처리가 산업화 단계로 접어들면서 신흥산업의 부상이 가져왔다.
심도 있는 학습은 빅 데이터 시대의 알고리즘 무기로, 최근 몇 년 동안 연구 핫스팟이 되었다. 심도 있는 학습 기술은 기존의 기계 학습 알고리즘에 비해 두 가지 장점이 있다. 첫째, 심도 있는 학습 기술은 데이터 규모가 커짐에 따라 성능을 지속적으로 향상시킬 수 있으며, 기존의 기계 학습 알고리즘은 방대한 양의 데이터를 활용하여 성능을 지속적으로 향상시키기가 어렵습니다. 둘째, 심도 있는 학습 기술은 데이터에서 직접 피쳐를 추출하여 각 문제에 대한 피쳐 추출기를 설계하는 작업을 줄일 수 있으며, 기존의 기계 학습 알고리즘은 수동으로 피쳐를 추출해야 합니다. 따라서 심도 있는 학습은 빅 데이터 시대의 인기 있는 기술이 되었으며 학계와 공업계는 심도 있는 학습에 대해 많은 연구와 실천을 했다.
심도 있는 학습의 각종 모델은 전면적으로 기초 응용을 할 수 있다. 컨볼 루션 신경망과 순환 신경망은 널리 사용되는 두 가지 깊이 신경망 모델입니다. 컴퓨터 시각과 자연어 처리는 인공지능의 두 가지 기본 응용이다. 컨볼 루션 신경망은 컴퓨터 비전 분야에서 널리 사용되며 이미지 분류, 대상 탐지, 의미 분할 등의 작업에서 기존 방법보다 성능이 훨씬 뛰어납니다. 순환 신경망은 시퀀스 정보와 관련된 문제를 해결하는 데 적합하며 음성 인식, 기계 번역, 대화 시스템 등 자연어 처리 분야에서 널리 사용되고 있습니다.
심도 있는 학습 기술은 아직 완벽하지 못하므로, 더욱 보완해야 한다. 첫째, 깊이 신경 네트워크의 모델은 매우 복잡하며, 매개 변수의 수가 많아 모델 규모가 커서 모바일 단말기 장치에 배포하기 어렵다. (알버트 아인슈타인, Northern Exposure (미국 TV 드라마), 예술명언) 둘째, 모델 교육에는 많은 양의 데이터가 필요하고, 교육 데이터 샘플 수집 및 레이블 지정 비용이 높으며, 일부 장면 샘플 획득이 어렵습니다. 셋째, 높은 적용 임계값, 복잡한 알고리즘 모델링 및 매개변수 조정 프로세스, 긴 알고리즘 설계 주기, 시스템 구현 및 유지 관리가 어렵습니다. 넷째, 인과 추리 능력이 부족하다. 튜링상 수상자, 베이지안 네트워크의 아버지 주디아 펄 (Judea Pearl) 은 현재의 심도 있는 학습은' 곡선 맞춤' 에 불과하다고 지적했다. 다섯째, 설명 가능한 문제가 있습니다. 내부 매개변수와 복잡한 피쳐 추출 및 조합으로 인해 모델에서 배운 것을 설명하기는 어렵지만, 보안상의 이유와 윤리적 법적 요구 사항으로 인해 알고리즘의 해석이 필요합니다. 따라서 심화 학습은 여전히 위의 문제를 해결해야합니다.
둘째, 심화 학습의 발전 추세
심도 신경망은 점점 더 깊고 구조가 복잡해지는 추세를 보여준다. 심도 있는 신경망의 성능을 지속적으로 향상시키기 위해 업계는 네트워크 깊이와 네트워크 구조의 두 가지 측면에서 끊임없이 탐구하고 있다. 신경망의 층수는 이미 수백 층이나 수천 층으로 확장되었다. 네트워크 계층 수가 깊어짐에 따라 학습 효과가 점점 좋아지고 있다. 20 15 년, Microsoft 가 제안한 ResNet 은 152 층의 네트워크 깊이로 처음으로 이미지 분류 작업의 정확도를 능가했습니다. 새로운 네트워크 설계 구조가 끊임없이 제기되어 신경 네트워크의 구조가 점점 더 복잡해지고 있다. 예를 들어 20 14, 구글은 초기 네트워크 구조, 20 15, Microsoft 는 나머지 네트워크 구조, 20 16, 황고 등은 밀집된 연결 네트워크 구조를 제시했다. 이러한 네트워크 구조 설계는 깊이 신경 네트워크의 성능을 지속적으로 향상시킵니다.
깊이 신경망 노드의 기능은 끊임없이 풍부하다. 현재의 신경망의 한계를 극복하기 위해 업계는 새로운 신경망 노드를 탐구하고 제시하여 신경망의 기능을 더욱 풍부하게 했다. 20 17 년, Jeffrey Hinton 은 캡슐 네트워크의 개념을 제시했고, 캡슐을 네트워크 노드로 사용했으며, 이론적으로 인간의 뇌에 더 가깝게 접근해 컨볼 루션 신경망의 공간 계층화와 추리력 부족 등의 한계를 극복했다. 20 18 년 DeepMind, Google Brain, MIT 에서 온 학자들이 함께 그림 네트워크의 개념을 제시하여 관계 귀납편향 기능이 있는 새로운 모듈을 정의했습니다. 이는 인과 추리를 심도 있게 배울 수 있는 능력을 부여하기 위한 것입니다.
심층 신경망 공학 응용 기술이 심화되고 있습니다. 심도 신경망 모델은 대부분 수억 개의 매개변수로 수백 메가바이트의 공간을 차지하며 스마트폰, 카메라, 웨어러블 장비 등 성능과 자원이 제한된 터미널 장비에 배치하기가 어렵다. 이 문제를 해결하기 위해 업계는 모델 압축 기술을 사용하여 모델의 매개변수와 크기를 줄이고 계산량을 줄였습니다. 현재 사용 중인 모델 압축 방법에는 잘 훈련된 모델 (예: 가지 치기, 가중치 공유, 정량화 등) 에 대한 가지 치기가 포함됩니다. ) 및 보다 정교한 모델 (예: MobileNet 등). ). 심도 학습 알고리즘 모델링 및 매개변수 조정 프로세스가 복잡하고 적용 문턱이 높습니다. 심도 있는 학습의 응용 문턱을 낮추기 위해 업계는 심도 있는 신경망의 자동 설계를 실현하고 사용 과정을 단순화할 수 있는 자동 기계 학습 (AutoML) 기술을 제시했다.
심도 있는 학습과 다양한 기계 학습 기술이 끊임없이 융합되어 발전하다. 심도 있는 학습과 강화 학습의 융합으로 탄생한 심도 있는 강화 학습 기술은 심도 있는 학습의 인식력과 강화 학습의 의사 결정 능력을 결합하여 단속 및 저차원 상태에만 적용되는 강화 학습의 결함을 극복하고 고차원 원시 데이터에서 직접 제어 전략을 배울 수 있습니다. 심도 있는 신경망 모델 훈련에 필요한 데이터의 양을 줄이기 위해 업계는 마이그레이션 학습에 대한 생각을 도입하여 심도 있는 마이그레이션 학습 기술을 탄생시켰다. 이전 학습 (Transfer learning) 은 데이터, 작업 또는 모델 간의 유사성을 활용하여 이전 영역에서 배운 모델을 새 영역에 적용하는 학습 프로세스입니다. 잘 훈련된 모델을 비슷한 장면으로 마이그레이션하면 소량의 교육 데이터만 있으면 좋은 결과를 얻을 수 있다.
셋째, 미래 발전에 대한 제안
도망 강화, 심도 강화 학습, 대책 네트워크 생성 등 최첨단 기술 연구. 국내 심층 학습 분야에 중대한 오리지널 연구 성과가 부족해 기초이론 연구에 공헌이 부족하다. 예를 들어 캡슐망, 투망 등 혁신적이고 독창적인 개념은 모두 미국 전문가들이 내놓은 것으로, 중국의 연구 공헌이 부족하다. 심화 학습 방면에서 최신 연구 성과는 대부분 DeepMind, OpenAI 등 외국회사의 연구원들이 제기한 것으로 국내에는 아직 파격적인 연구 성과가 없다. 최근 몇 년 동안 연구 핫스팟-생성 대책 네트워크 (GAN) 는 미국 연구원 Goodfellow 가 제안한 것으로, 구글, 페이스북, 트위터, Apple 등은 다양한 개선과 응용 모델을 제시하여 GAN 기술의 발전을 강력하게 추진했다. 그러나 이와 관련하여 중국의 연구 성과는 매우 적다. 따라서 과학연구원과 기업은 심도 있는 신경망과 인과 추리 모델의 결합을 강화하고, 대항 네트워크 생성, 심도 강화 학습 등 첨단 기술에 대한 연구를 장려하고, 더 많은 독창적인 연구 성과를 제시하고, 글로벌 학술 연구의 영향력을 높이도록 장려해야 한다.
자동화 기계 학습, 모델 압축 등 심도 있는 학습 응용 기술 연구를 가속화하다. 국내 시장의 우세와 기업 성장의 우세에 힘입어, 중국특색 맞춤형 애플리케이션 수요에 대해 심도 있는 학습 응용 기술 연구를 가속화하다. 자동 기계 학습, 모델 압축 등의 기술 연구를 강화하여 심도 있는 학습의 엔지니어링 응용을 가속화하다. 심도 있는 학습이 컴퓨터 시각 분야에서의 응용 연구를 강화하여 목표 인식과 같은 시각적 작업의 정확도와 실제 응용 시나리오의 성능을 더욱 향상시킵니다. 자연어 처리 분야의 심도 있는 학습 응용 연구를 강화하고, 성능이 더 좋은 알고리즘 모델을 제시하며, 기계 번역, 대화 시스템 등의 응용 프로그램 성능을 향상시킵니다.
출처: 산업 정보 공무원
끝
더 멋진 내용은 홈페이지에 접속해 주세요.
왕기 정선
1.2018-2019 중국 인공지능산업 혁신 100 대 목록 발표!
2.20 18-20 19 중국 인공지능업계 투자기관 20 대 목록 발표!
3.20 18-20 19 중국 빅 데이터 산업 혁신 상위 100 위 발표!
4.20 18-20 19 중국 대형 데이터 산업 투자기관 20 대 목록 발표!
5.20 18-20 19 중국 사물인터넷 산업 혁신 100 대 목록 발표!
6.20 18-20 19 중국 5G 및 사물인터넷 업계 20 대 투자기관 명단 발표!
7.20 18-20 19 중국 혁신 집적 회로 산업 상위 100 위 목록 발표!
8.20 18-20 19 중국 집적 회로 산업 투자기관 20 대 목록 발표!
9.20 18-20 19 중국 서비스업 혁신 100 대 기업 명단이 나왔다!
10. 중국 기업 서비스업 투자기관 20 대 명단은 Yinlu.com 2018-2019 에 발표됐다!