1 및 202 1 년 4 월 화웨이운은 세계 최대 30 억 매개 변수의 시각 (CV) 사전 훈련 모델 중 하나와 순환지능과 붕정연구소가 공동으로 개발한 세계 최대/KLOC 를 포함한 반고 시리즈 초대형 사전 훈련 모델을 발표했습니다. 이후 화웨이운은 멀티 모달, 과학 컴퓨팅 등 다중 분야 사전 훈련 모델을 발표할 예정이다.

2. 반고의 설계에는 세 가지 핵심 원칙이 있다. 하나는 초대형 신경망이 대량의 데이터를 흡수할 수 있다는 것이다. 둘째, 강력한 네트워크 아키텍처는 최상의 성능을 얻을 수 있습니다. 셋째, 우수한 일반화 능력으로 전체 장면이 10 회 이상 커버되어 전능 챔피언에 도달합니다.