소니 인공지능은' 자연' 표지에서 인간 정상급 선수를 물리쳤다. 소니는 AI 부서에서 개발한 인공지능 기술을 발표했고, 이번 주' 네이처' 잡지의' 표지 인물' 이 됐다. 소니 인공지능이 인간 정상을 꺾고' 자연' 표지에 올랐다.
소니 인공지능이 인간 정상을 꺾고 1 으로' 자연' 표지에 올랐다. 소니가 며칠 전에 발표한 중요한 AI 소식을 기억하시나요? 최근 소니 당국은 연구원들이' GT Sophy' 라는 AI 드라이버를 개발해 인간 정상급 운전자를 물리치고 우승을 할 수 있다고 발표했다.
소니는' GT Sophy' 를 훈련시키기 위해 강화 학습이라는 이질적인 방법을 사용한 것으로 알려졌다. 그것의 본질은 끊임없이 잘못을 시험하고, AI 를 지시가 없는 환경에 던져서 목표를 달성하면 상을 받을 수 있다는 것이다.
소니 연구가들에 따르면, 충돌 징벌을 미세 조정하고 다양한 목표의 우선 순위를 조정하는 등 AI 의 운전 스타일이 단순히 길에서 상대를 괴롭히는 것이 아니라 충분히 공격적이 되도록 장려를 신중하게 설계해야 한다고 합니다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 스포츠명언)
집중 학습의 도움으로 AI 는 몇 시간의 훈련만으로 트랙에서의 경기에 적응했다. 그리고 하루나 이틀 동안 훈련 데이터는 95% 의 운전자보다 빠르다. 총 45,000 시간의 훈련을 거쳐 AI 는 소니 PS5 의 게임 GT Racing 에서 놀라운 성적을 거뒀고, 최고급 인간 운전자를 물리치는 것은 더 이상 문제가 되지 않았다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 스포츠명언)
소니는 AI 로 세 명의 최고 경기 선수를 테스트했는데, 타이밍 경기에서 AI 를 이길 수 있는 사람은 아무도 없었다. 그리고 그들은 또한 AI 경기에서 새로운 전술을 배웠고, AI 노선을 배웠고, 더 나은 진입 시기를 장악했다.
소니는 현재 GT Sophy 를 미래의 GT 레이싱 게임에 통합하기 위해 노력하고 있지만 구체적인 시간표는 제공하지 않았다고 밝혔다.
소니가 차를 만들었다는 소식과 결합해 이 AI 는 현실 세계 자동차의 자동운전 기술에도 사용될 가능성이 있어 전망이 매우 낙관적이라고 할 수 있다.
소니의 인공지능은 인간 정상급 선수를 물리치고' 자연' 표지에 올랐다. 2 "우리가 인공지능을 추구하는 것은 결국 인류를 더 잘 이해하기 위해서이다."
이 세대의 몇 안 되는 현실 레이싱 게임으로서' GT 레이싱 스포츠' 의 게이머들은 그들의 게임이 언젠가 세계 최고의 과학잡지' 자연' 의 표지에 오를 것이라고는 상상도 하지 못했을 것이다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 스포츠명언)
소니는 어제 AI 부서에서 개발한 인공지능 기술을 발표했고, 이번 주' 네이처' 잡지의' 표지 인물' 이 됐다. 이 인공지능의 성과는 GT 레이싱 운동에서 세계적 수준의 레이싱 게이머를 물리친 것이다.
Nautre 7896 호 표지
또는 "정복" 이라는 단어를 사용하는 것이 더 적합합니다. 소니가 시연한 AI 운전자 4 명과 프로 레이싱 선수 4 명의 대결에서 챔피언 AI 의 최고 속도는 인류 중 최고보다 2 초 이상 빨라졌다. 3.5 마일의 트랙에 있어서, 이 장점은 알파고가 바둑을 정복하는 것과 같다.
지난 5 년간의 R&D 에서 소니 AI 부서, SIE, PDI 스튜디오 (GT 레이싱카의 개발자) 가 공동으로 개발한 이 AI 는 이미 이 목표를 달성했습니다.
소니는 이 AI GT 를 Sophy 라고 명명했습니다. 소피는 "지식과 지혜" 를 의미하는 그리스어 σ μ φ α에서 유래한 흔한 이름이다.
소피와 일반 게임 AI 의 차이점은 무엇입니까?
AI 가 게임에서 인류를 물리친 사례는 드물지 않다. OpenAI 는 수천 차례의 DOTA2 게임' 명상훈련' 을 거쳐 당시 Ti8 챔피언 OG 를 꺾었다. 구글의 알파스타는 스타크래프트 2 의 최고급 프로게이머를 대면할 때도 압연적인 모습을 보였고, 우리 일반인마다' 컴퓨터 [광기]' 의 고통을 맛보았다.
20 19 년, OpenAI 는 일부 영웅 선택만 허용하는 제한 하에 OG 를 물리친 적이 있다.
그러나이 "패배" 는 다릅니다. GTS 의 AI 구동 Sophy 가 무슨 뜻인지 이해하려면 먼저 Sophy 와 간단한' AI 너는 달릴 수 없다' 의 차이를 알아야 한다.
과거 레이싱 게임에서 AI 의 경우, 렌더링 형식은 플레이어가 제어하는 "에이전트" 가 아니지만 전통적인 AI 운전자는 일반적으로 사전 설정된 동작 스크립트 세트일 뿐 진정한 지능을 갖추지 못한다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 스포츠명언)
전통적인 AI 의 난이도 설계는 일반적으로' 부당' 방식으로 이루어진다. 예를 들어, 레이싱 게임, 시스템은 가능한 한 약화되거나 AI 자동차의 물리적 시뮬레이션을 제거하여 AI 자동차가 플레이어보다 처리해야 하는 환경 매개변수를 훨씬 쉽게 만들 수 있습니다.
더 이기기 어려운 AI 적을 만드는 것은 RTS 게임의 AI 가 몰래 부정행위를 통해 경제폭력을 훔치고, AI 차가 눈치채지 못할 때 조용히 가속하도록 하는 것과 같다.
그래서 일정 수준의 게이머에게 레이싱 게임의 전통적인 AI 는 행동 논리와 전략 선택에 대한 참조가 거의 없다. 프로레이싱 게이머는 말할 것도 없다.
Sophy 와 AlphaGo 는 심도 있는 학습 알고리즘을 통해 인간의 행동을 시뮬레이션하는 과정에서 점점 강해지고 있다. 운전, 규칙 적응, 상대를 이기는 법을 배운다.
이런 AI 가 플레이어에게 주는 것은 완전히' 공평한 경쟁에서 패배한 경험' 이다. Sophy 에게 패한 후, 한 인간 운전사는 "(Sophy) 속도는 물론 빠르지만, 이 AI 는 기계의 범위를 조금 넘어선 것 같다. 그것은 인간성이 있는 것 같고, 인간 게이머가 본 적이 없는 행동을 한 것 같다" 고 평가했다.
이것은 알파고를 연상하게 하는데, 그것은 바둑에 대한 인간의 이해를 다시 썼다.
바둑이라는 매우 추상적이고 정보가 투명한 게임보다 게임 차원이 많고 계산 복잡도가 높은 비디오 게임은 심도 있는 학습 AI 에 가입한 후' 공정한 경쟁' 이라는 이념을 보장하기가 어렵다. (윌리엄 셰익스피어, 윈스턴, 바둑, 바둑, 바둑, 바둑, 바둑, 바둑, 바둑, 바둑)
예를 들어, 20 19 스타크래프트 2 에서 대전한 알파스타는 기본적으로 새로운 전술적 사고를 내지 않고, 단지 인간 플레이어의 전술을 무한히 공부한 다음, 정확한 다중선 조작을 통해 승리를 거뒀다. 알파스타의 APM 이 인위적으로 제한되더라도, 비효율적인 조작이 없는 AI 의 효율성은 인류가 비교할 수 있는 것이 아니다.
그래서 알파스타와 인간 프로 선수들의 대결 기록에서 MaNa 가 폴란드에서' 3 선 플래시 사냥' 의 불후의 표현으로 유령의 마나를 물리쳤을 때 불복한 마나가 경기 후 인터뷰에서 "같은 수준의 인간 게임에서는 이런 일이 일어날 수 없다" 고 말했다.
알파스타는 사냥꾼의' 역전 관계' 로 마나의 불사부대에 대항했다.
마찬가지로,' GT 레이싱' 은' 스타크래프트 2' 와 같은 복잡성을 가진 모의 레이싱 게임이다.
프로 레이싱 선수의 눈에는 레이싱 스포츠의 가장 기본적인 요소 경로, 속도, 방향은 수많은 작은 반응과 느낌, 차량의 무게, 타이어의 미끄러짐, 도로감각의 피드백. 모퉁이를 돌 때마다 훌륭한 액셀러레이터가 열릴 수 있으며, 최고 운전자만이' 조작' 의 느낌을 만질 수 있다.
어떤 의미에서, 이러한' 조작의 한계' 는 물론 물리학으로 설명할 수 있는데, AI 가 파악할 수 있는 범위는 분명히 인간보다 크다. 따라서 Sophy 의 반응 속도는 인류의 동등한 수준으로 제한되며 소니는 각각100ms, 200ms, 250ms 의 응답 시간을 설정했으며, 인간 선수들은 연습 후 특정 자극에 대한 반응 속도는150ms 정도에 이를 수 있다.
이것이 알파스타보다 더 공정한 싸움이라는 것은 의심의 여지가 없다.
소피는 무엇을 배웠습니까?
Sophy 의 많은 AI 선배들과 마찬가지로, 또한 신경망 등 심도 있는 학습 알고리즘을 사용하여 운전 기술을 훈련시킨다.
Sophy 는 훈련 환경에서 상이한 행동에 대한 보상이나 처벌을 받을 수 있다. 고속으로 전진하는 것이 좋다. 추월하는 것이 더 좋다. 이에 따라 경계 밖으로 나가거나 굽힐 때 벽에 부딪히는 것은' 불량행위' 이며, AI 는 부정적인 피드백을 받을 수 있다.
수천 개의 ps4 시리즈로 구성된 매트릭스에서 Sophy 는 수많은 모의 운전 훈련을 거쳐 GT 레이싱 운동에 대한 지식을 업데이트했다. Sophy 는 운전할 줄 모르는' 아기' 에서 트랙에서 운전하는 것에 이르기까지 몇 시간을 보냈다. 하루나 이틀 후, 기본적인' 안팎' 차선부터 Sophy 는 거의 모든 일반적인 레이싱 기술을 배웠고, 95% 가 넘는 인간 게이머를 배웠다.
소니 인공지능부서가 소피에게 제공하는' 훈련장' 입니다
그러나 경주용 자동차는 한 사람의 게임이 아니다. Sophy 는 지난해 7 월 다른 경주용 자동차가 없는 타이밍 경기에서 인간 정상급 선수를 능가할 수 있었지만, 진정한 멀티 플레이어 게임에서는 여전히 상대와 싸우는 법을 배워 다른 운전자의 행동 논리를 이해해야 한다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 스포츠명언)
그래서 소니 AI 부서의 연구원들은 Sophy 에 대해 더 많은 "훈련" 을 했습니다. 예를 들어, 새치기를 해서 추월하는 방법, 다른 차에 직면했을 때 어떻게 자리를 잡는지 등을 예로 들 수 있습니다. 결국 소피는 심지어' 교육' 을 받아 레이싱 경기의 경기 예절을 지키기도 했다. 예를 들어, 경주용 자동차를 완행차로 포기하고 무례하고 악의적인 충돌을 피한다.
레이싱 게임에서 AI 자동차가 게이머와의 접촉을 피하려고 해도 그 실현은 부자연스러운 회피일 뿐이다. Sophy 가 보여준' 게임 이해' 는 전통적으로 대본에 의존하는 레이싱 AI 가 달성할 수 없는 것이다.
6 월 10 까지 소피는 이미 정식 경기에서 인류 정상급 선수를 물리칠 수 있었다.
소니가 초청한 네 명의 인간 운전자, GT 선수권대회 3 관왕궁 본토 포함.
예를 들어 용의 경로의 첫 경기. GT 레이싱 경기의 운전 교미로서 모든 GTS 플레이어는 이 트랙 (그리고 DLC 의 해밀턴 챌린지) 에 대해 잘 알고 있어야 한다. 수만 시간의 훈련을 거쳐 1 위를 차지한 Sophy 운전자는 이미 절대 최고의 노선에서 1 위를 유지할 수 있었다.
2 차전 날, 4 명의 Sophy 와 4 인승 운전자와의 경기에서 AI 의 우세는 더욱 커졌다. 거의 최고의 인간 선수를 짓밟았다.
만약 우리가 노선 선택과 판단에서 인간보다 조금 더 강하다면, 더 안정적인 굽이로 동그라미 속도 우위를 축적하는 것도 큰 일이 아닐 수 있다. (윌리엄 셰익스피어, 햄릿, 믿음명언)
하지만 연구원들은 Sophy 가 상대의 절대적 우세 (즉, AI 는 비인간적인' 하드파워' 중 더 강한 부분) 를 거의 이용하지 않았다고 생각하지만, 게임 이해에도 인간게이머를 능가하는 것으로 보고 있다. 예를 들면 상대의 노선을 예측하는 것과 같다.
네이처 매거진 논문이 인용한 사례에서 두 명의 인간 운전자가 법률 봉쇄를 통해 두 소피의 선호 노선을 방해하려 했다. 그러나 Sophy 는 두 가지 다른 궤적을 성공적으로 찾아내 추월하는 데 성공하여 인류의 차단 전략이 막바지에 이르렀고, Sophy 는 후방 차량의 추월 의도를 교란할 수 있는 효과적인 방법을 생각해 낼 수 있었다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 스포츠명언)
소피는 또한 시뮬레이션된 솔트 트랙 (일명 르망 트랙) 에서 고전적인 높은 수준의 동작을 완성할 수 있다는 것을 증명했다. 즉, 앞차의 꼬리를 빠르게 빠져나와 앞차에 대한 저항을 증가시킨 다음 상대를 뛰어넘는다는 것이다.
더 놀라운 것은 Sophy 가 AlphaGo 가 새로운 고정관념을 사용한 것처럼 들리는 비정상적인 행동 논리를 조작했다는 점이다. 일반적으로 레이서가 교육을 받았을 때 "천천히 들어오고 빨리 나가는 것" 으로, 부하는 두 앞바퀴에만 있다. 그러나 소피가 반드시 이렇게 하는 것은 아니다. 그것은 모퉁이를 돌 때 선택적으로 브레이크를 밟아 뒷바퀴 중 하나에도 부하를 견딜 수 있게 한다.
실제로 해밀턴과 비스타판과 같은 최고급' F1운전자만이 세 개의 타이어를 빠르게 드나드는 기술을 사용하려고 시도하고 있지만 소피는 게임 세계에서 완전히 독학하고 있다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 스포츠명언)
AI 와의 대결에서 패한 후, GT 챔피언을 세 번 이긴 이 운전자는 "Sophy 는 인간 운전자가 전혀 생각하지 못했던 경주용 노선을 걸었다 ... 나는 많은 운전 기술 교과서가 다시 쓰여질 것이라고 생각한다" 고 말했다.
"인간을 더 잘 이해하기 위해서"
이전 비디오 게임에 등장한 고급 AI 플레이어 (예: AlphaStar) 와는 달리 Sophy 의 연구는 분명히 더 광범위하고 직접적인 현실적 의의를 가지고 있다.
J.' 네이처' 지에 참여한 이 논문 집필에 참여한 스탠퍼드대 교수인 크리스티안 게디스 교수는 소피의 성공에 따르면 자동 운전 소프트웨어에서 신경 네트워크의 역할이 지금보다 더 클 수 있다고 지적했다. 앞으로 이 GT Racing 기반 AI 는 자동운전 분야에 더 많은 도움을 줄 것이다.
소니 AI 부서의 CEO 인 히로시 키타노 (Hiroshi Kitano) 도 이 AI 연구가 고속 로봇과 자율운전 기술 개발에 더 많은 새로운 기회를 가져다 줄 것이라고 밝혔다.
소피 프로젝트 공식 웹 사이트 소개
하지만 우리가 GT 레이싱 그 자체로 시선을 돌리면 Sophy 의 출현은 대중게이머와 프로 운전자들에게도 중요한 의미가 있다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 스포츠명언)
문장 앞에서 언급했듯이 시중에 나와 있는 대부분의 실제 레이싱 게임에서' 전통 AI' 는 이미 플레이어에게 전혀 재미를 줄 수 없는 물건이다. 불공평한 조건을 바탕으로 한 이 인간-기계 대결은 레이싱 게임 개발자가 플레이어에게 제공하고자 하는 운전 경험에 반하는 것으로, 인간 플레이어는 그로부터 어떤 교훈도 얻을 수 없다.
소니 AI 부서에서 발표한 다큐멘터리에서' GT 레이싱의 아버지' 산내와 전전 (kazunori yamauchi) 은 비길 데 없는 AI 를 개발하는 것은 위대한 기술적 성과일 수 있지만 일반 게이머들에게는 직접적인 즐거움이 아닐 수 있다고 밝혔다.
이에 따라 산네는 앞으로 소니가 Sophy 를 3 월 발표된 GT Racing 7 로 데려올 것이라고 약속했다. Sophy 가 경기장의 환경과 조건을 더 잘 이해하고 다른 운전자의 수준을 판단할 수 있을 때, 이런 지능적이고 우아한 AI 는 인간과의 경기에서 선수들에게 더 많은 진정한 즐거움을 제공할 수 있다.
가상 레이싱 게임이 점차' 작은 동그라미화' 되는 오늘날, 많은 업체들은 순수 신인 플레이어의 입문 경험에 직면할 힘이 없다. 아마도 AI 선생님의 존재는 가상세계에서 가상운전에 더 많은 즐거움을 줄 수 있는 기회를 갖게 될 것이다. GT 레이싱 4 의 홍보 영상 제목에서' 자동차 생활 체험' 이라고 말한 바와 같다.
게임 기반 AI 가 플레이어에게 가져올 수 있는 가장 중요한 것 중 하나일 수 있습니다. 카즈노리 야마구치가 Sophy 프로젝트에 대해 논평한 것처럼, "우리는 인간을 이기기 위해 인공지능을 만드는 것이 아닙니다. 우리는 결국 인간을 더 잘 이해하기 위해 인공지능을 추구합니다."
소니 인공지능이 최고급 인간선수를 물리치고' 자연 3' 표지에 오른 영국 로이터 통신에 따르면 지난 2 월 9 일 런던에 따르면 소니는 수요일 GT Sophie 라는 인공지능 (AI) 에이전트를 만들어 ——PlayStation 플랫폼의 아날로그 레이싱 게임 GT Racing 에서 세계 최고의 운전자를 물리칠 수 있다고 밝혔다.
이 회사는 GT Sophie 가 이 게임을 준비할 수 있도록 소니의 여러 부서에서 기본적인 인공지능 연구 성과, 초현실적 현실 세계 레이싱 시뮬레이터, 대규모 인공지능 훈련에 필요한 인프라를 제공했다고 밝혔다.
보도에 따르면 지난해 7 월 인공지능은 처음으로 GT 레이싱의 톱 4 명과 경기를 했다. 이번 경기의 경험을 받아들여 그해 10 의 또 다른 경기에서 인간 운전자를 물리쳤다.
이런 인공지능의 디자인팀의 리더, 소니 인공지능 미국회사 책임자인 피터 워먼은 "약 20 대의 PlayStation 게임기를 동시에 약 10 에서 12 까지 가동했다" 고 말했다.
보도에 따르면 인공지능이 체스, 마작, 바둑 경기에서 인간을 물리쳤지만 소니는 경주용 자동차 운전 기술을 익히는 데 어려움이 많은 의사결정이 실시간으로 이루어져야 한다는 점이다.
소니의 경쟁 상대인 마이크로소프트는 최근 690 억 달러에 육박하는 폭설을 인수한 것으로 알려졌다. 마이크로소프트는 게임을 이용해 인공지능 모델에 새로운 도전을 지속적으로 제공함으로써 인공지능을 높이고 있다.
보도에 따르면' GT 레이싱' 은 아날로그 레이싱 비디오 게임으로 1997 년 출범해 8000 만 벌 이상 팔렸다.
소니는 배운 것을 다른 플레이스테이션 게임에 적용하기를 원한다. 이 회사는 "인공지능에 다른 도전을 할 수 있는 게임이 많기 때문에 이러한 문제를 해결하기 시작할 것으로 기대하고 있다" 고 말했다.