1 인공 신경망의 배경
예로부터 인간 지능의 기원에 관한 수수께끼는 수많은 철학자와 자연과학자의 연구 열정을 끌어들이고 있다. 오랜 노력 끝에 생물학자와 신경과학자들은 인간의 뇌의 지능 활동이 물리적 구조와 다양한 생물학적, 화학적, 전기적 효과를 포함한 뇌의 물질적 기초와 불가분의 관계에 있다고 생각합니다. 신경 네트워크 이론과 신경계 구조 이론을 수립했습니다. 뉴런 이론은 신경 전도 이론과 뇌 기능 이론의 기초이다. 이러한 이론을 바탕으로 과학자들은 인간의 뇌 신경계의 구조와 기능을 모방하여 인간의 지능 활동과 인지 현상을 연구할 수 있다고 생각한다. 한편 19 세기 이전에는 유클리드 기하학과 미적분으로 대표되는 고전 수학이든 뉴턴 역학으로 대표되는 고전 물리학이든 일반적으로 선형 과학이었다. 그러나 객관적인 세계는 이렇게 복잡하여 비선형 상황이 곳곳에서 볼 수 있는데, 특히 인간의 뇌 신경계에서는 더욱 그러하다. 복잡성과 비선형성은 연결되어 있기 때문에 비선형 과학 연구도 복잡한 시스템을 이해하는 열쇠입니다. 객관적인 세계를 더 잘 이해하기 위해서, 우리는 비선형 과학을 배워야 한다. 뇌 지능과 유사한 비선형 네트워크 모델로 인공신경망이 생겨났다. 따라서 인공신경망의 설립은 우연이 아니라 20 세기 초 과학기술이 충분히 발전한 산물이다.
2. 인공 신경망 개발
인공신경망의 연구는 1940 년대 초에 시작되었다. 반세기 동안 부상, 오르가즘, 불황, 오르가즘, 평온한 발전의 길고 구불한 길을 겪었다.
1943 년 심리학자 W.S.Mcculloch 와 수학 논리학자 W.Pitts 가 M-P 모델을 제시했는데, 이는 수학 언어로 뇌 정보 처리 과정을 묘사한 최초의 모델이다. 뉴런의 기능은 비교적 약하지만, 앞으로의 연구 작업에 기초를 제공한다. 1949 년 심리학자 D.O.Hebb 는 시냅스 연결이 가변적인 가정이라고 제안했다. 이 가설에 따라 제시된 학습 규칙은 신경 네트워크의 학습 알고리즘의 기초를 다졌다. 1957 년, 컴퓨터 과학자 로젠블랏 (Rosenblatt) 은 현대 컴퓨터의 일부 원리를 담은 유명한 센서 모델을 제시했다. 최초의 완벽한 인공신경망으로 처음으로 신경망 연구를 공사에 투입했다. 패턴 인식, 연상기억 등에 쓸 수 있었기 때문에 당시 수백 개의 실험실이 이 이 연구에 투입되었다. 미군은 심지어 신경망 프로젝트가' 원자폭탄 프로젝트' 보다 더 중요하고 거액의 자금을 지원하고 음파 탐지기 신호 인식 등 분야에서 어느 정도 성과를 거두어야 한다고 생각한다. 1960 에서 B.Windrow 와 E.Hoff 는 어댑티브 필터, 예측 및 패턴 인식에 사용할 수 있는 어댑티브 선형 요소를 제안합니다. 이로써 인공신경망 연구가 첫 절정에 이르렀다.
1969 년 미국의 유명한 인공지능학자 M.Minsky 와 S.Papert 는' 센서' 라는 책을 썼는데, 영향이 매우 컸다 그들의 분석은 냉수 한 대야와 같았고, 많은 학자들은 앞날이 암울하다고 느꼈고, 연구에 참여한 실험실도 잇따라 퇴출되었다. 이후 거의 65438 에 육박했다. 이 기간 동안 핀란드 학자 T.Kohonen 은 뇌신경세포의 자기조직 특징, 기억 방법, 신경세포의 흥분과 자극의 법칙을 반영하는 자기조직 매핑 이론을 제시했다. 적응 * * * 진동 이론 (art); 미국 학자 S.A. 그로스버그가 일본 학자 K.Fukushima 는 인지기계 모델을 제안했습니다. ShunIchimari 는 신경 네트워크의 수학 이론 연구에 힘쓰고 있으며 향후 신경 네트워크의 발전에 중요한 영향을 미친다.
미국 생물물리학자 J.J.Hopfield 는 미국 국립과학원지 1982 와 1984 에 문장 두 편을 발표해 신경망 연구를 강력하게 추진하며 신경망 연구의 또 다른 열풍을 일으켰다. 1982 에서 그는 새로운 신경망 모델인 ——Hopfield 네트워크 모델을 제안했다. 이 네트워크 모델의 연구에서 그는 처음으로 네트워크 에너지 함수의 개념을 소개하고 네트워크 안정성에 대한 판단의 근거를 제시했다. 1984 에서 그는 네트워크 모델로 구현된 전자 회로를 제안하여 신경 네트워크의 엔지니어링 구현 방향을 제시했다. 그의 연구 성과는 신경 네트워크 최적화 컴퓨팅 연상 기억을 위한 새로운 경로를 열어 신경 컴퓨터 연구의 토대를 마련했다. Hinton 등은 1984 에서 시뮬레이션 어닐링 알고리즘을 신경망으로 도입하여 Boltzmann 기계 네트워크 모델을 제시했습니다. BM 네트워크 알고리즘은 신경망 최적화 계산을 위한 효과적인 방법을 제공합니다. 1986 에서 D.E.Rumelhart 와 J.LMcclelland 는 오차 역전파 (error back propagation) 를 제안했으며, 지금까지 큰 영향을 미치는 온라인 학습 방법이 되었습니다. 1987 년 미국 신경 컴퓨터 전문가 R.Hecht—Nielsen 은 패턴 분류, 함수 접근, 통계 분석, 데이터 압축 등의 분야에서 사용할 수 있는 유연한 분류 알고리즘과 간결한 장점을 갖춘 역전파 신경망을 제안했습니다. L.Ochua 등은 1988 에서 세포 신경 네트워크 모델을 제시했는데, 이 모델은 초급 시각 처리에 광범위하게 적용되었다.
인공신경망의 발전에 적응하기 위해 1987 은 국제신경망 학회를 설립하고 정기적으로 국제신경망 학술회의를 열기로 했다. 1988 65438+ 10 월 신경망 설립. 신경망 1990 IEEE 회지는 3 월에 나왔습니다. 중국은 1990 년 2 월 베이징에서 제 1 회 신경망 학술회의를 열고 1 년에 한 번 열기로 했다. 199 1, 중국 신경 네트워크 학회가 남경에 설립되었다. IEEE 와 INNS 가 공동 주최하는 IJCNN92 는 이미 베이징에서 열렸다. 이것들은 모두 신경망의 연구와 발전을 촉진시켰고, 인공신경망은 안정적인 발전의 시기에 접어들었다.
1990 년대 초 노벨상 수상자 Edelman 은 다윈주의 모델을 제시하여 신경망 시스템 이론을 세웠다. 같은 해, 선인의 유도와 실험을 바탕으로 상원 등은 카오스 뉴런 모델을 제시했는데, 이 모델은 이미 고전적인 카오스 신경망 모델이 되어 연상 기억에 사용할 수 있게 되었다. Wunsch 는 90OSA 연례회의에서 AnnualMeeting 을 제시했고, 광전기 실행 ART 를 사용했으며, 학습 과정은 어댑티브 필터링과 추리 기능을 갖추고 있어 빠르고 안정적인 학습의 특징을 가지고 있다. 199 1 년, Hertz 는 신경 컴퓨팅 이론에 대해 논의하고 신경 네트워크의 컴퓨팅 복잡성 분석에 중요한 의미를 부여했습니다. Inoue 등은 결합 카오스 진자를 뉴런으로 사용하여 카오스 신경 네트워크 모델을 구축해 넓은 응용 전망을 제시하여 방향을 제시했다. 1992 에서 홀랜드는 생물학적 진화를 시뮬레이션하여 복잡한 최적화 문제를 해결하는 유전 알고리즘을 제시했다. 1993 에서 방건안 등은 유전자 알고리즘으로 신경망 컨트롤러를 연구하여 약간의 성과를 거두었다. 1994 년 Angeline 등은 이전 진화 전략 이론을 바탕으로 피드백 신경망을 구축하는 진화 알고리즘을 제시하고 패턴 인식, 자동 제어 등에 성공적으로 적용했다. 은 세포 신경망을 위해 새로운 수학 이론과 방법을 확립하고 일련의 성과를 거두었다. HayashlY 는 동물 뇌의 진동 현상에 근거하여 진동 신경망을 제시했다. 1995 Mitra 는 인공신경망과 모호한 논리 이론, 생물세포 이론, 확률론을 결합해 모호한 신경망을 제시해 신경망 연구에서 돌파구를 마련했다. Jenkins 등은 광신경 네트워크를 연구하고 2 차원 병렬 상호 연결과 전자학의 광신경 네트워크를 구축하여 네트워크가 국부적인 극소극으로 빠져들지 않도록 하여 결국 이상적 해법에 도달하거나 접근하는 것을 방지했다. SoleRV 등은 곤충 사회와 로봇 집단 면역체계를 연구하는 유체 신경망을 제시하여 사람들이 혼돈 이론으로 사회 대계를 분석하도록 고무시켰다. 1996 에서 ShuaiJW' 등은 인간의 뇌의 자기발육 행동을 시뮬레이션하고 카오스 신경망 토론을 바탕으로 자기발육 신경망을 제시했다. 1997 과 1998 에서 동영이는 광범위한 유전 알고리즘을 창설하고 보완하여 다층전방 네트워크의 가장 간단한 토폴로지 구성 문제와 글로벌 최적 접근 문제를 해결했다.
이론 작업이 진행됨에 따라 신경 네트워크의 응용 연구도 획기적인 진전을 이루었으며, 컴퓨터 시각, 언어 인식, 이해 및 합성, 컴퓨팅 최적화, 지능 제어 및 복잡한 시스템 분석, 패턴 인식, 신경 컴퓨터 개발, 지식 추론 전문가 시스템, 인공 지능 등 광범위한 기술 분야를 다루고 있습니다. 관련된 학과는 신경생리학, 인지과학, 수학과학, 심리학, 정보과학, 컴퓨터과학, 마이크로전자학, 광학, 역학, 생물전자학 등이다. 미국 일본 등은 신경망 컴퓨터의 하드웨어와 소프트웨어 개발 분야에서도 눈에 띄는 성과를 거두며 점차 제품을 형성하고 있다. 미국에서는 신경 컴퓨터 산업이 군의 강력한 지지를 받았다. 국방부 고급연구계획국은' 신경망이 기계 지능을 해결할 수 있는 유일한 희망' 이라고 판단했고, 8 년간의 신경 컴퓨터 프로젝트만 4 억 달러를 투자했다. 유럽의 ESPRIT 프로젝트에서는' 유럽 공업에서의 신경 네트워크 응용' 이라는 전문 프로젝트가 있는데, 신경 네트워크 전용 칩 생산에만 2200 만 달러가 든다. 미국의 자료에 따르면 일본의 신경망 연구에 대한 투자는 미국의 4 배 정도다. 중국도 뒤처지는 것을 달가워하지 않는다. KLOC-0/990 남개대학교 광학신경컴퓨터 등 3 개 프로젝트가 승인된 이후 국립자연과학기금과 국방예연기금도 신경망 연구에 자금을 지원했다. 또한 많은 국제 유명 회사들도 인텔, IBM, Siemens, HNC 와 같은 신경망 연구에 참여하고 있습니다. 신경 컴퓨터 제품은 상용 단계로 접어들기 시작하여 국방 기업 과학 연구 부문에 의해 선용되었다. 세계적으로 유명한 걸프전에서 미 공군은 신경망을 이용하여 의사결정과 통제를 했다. 이런 자극과 수요 하에서 인공신경망은 반드시 새로운 돌파구를 만들어 또 다른 절정을 맞이할 것이다. 1958 첫 번째 신경망이 탄생한 이후 그 이론과 응용 성과는 헤아릴 수 없이 많다. 인공신경망은 빠르게 발전하는 새로운 학과로, 새로운 모델, 새로운 이론, 새로운 응용 성과가 끊임없이 등장하고 있다.
3 인공 신경망 개발 전망
신경 네트워크의 문제점과 사회적 수요에 대해 미래의 주요 발전 방향은 이론 연구와 응용 연구의 두 가지 측면으로 나눌 수 있다.
(1) 신경생리학과 인지과학을 이용하여 뇌의 사고와 지능을 연구하는 메커니즘과 계산이론을 이용하여 문제를 가지고 이론을 연구한다.
인공신경망은 지능을 드러내고 인뇌의 작업 패턴을 이해하는 합리적인 방법을 제공한다. 하지만 처음에는 신경계에 대한 이해가 제한되어 있었기 때문에, 인간의 뇌 구조와 그 활동 메커니즘에 대한 인식은 여전히 피상적이며 어떤' 선험적' 을 가지고 있다. 예를 들어 볼츠만 기계는 국부적으로 극히 작은 것을 피하기 위해 무작위 교란을 도입하는 장점이 있다. 그러나, 그것은 필요한 뇌 생리학의 기초가 부족하다. 인공 신경망의 개선과 발전이 신경과학의 연구와 결합되어야 한다는 것은 의심의 여지가 없다. 그리고 신경과학, 심리학, 인지과학이 제기한 몇 가지 중요한 문제는 신경망 이론 연구에 대한 새로운 도전이며, 이러한 문제의 해결은 신경망 이론의 완벽과 발전에 도움이 된다. 따라서 신경생리학과 인지과학을 이용하여 뇌의 사고와 지능의 메커니즘을 연구하면 새로운 돌파구가 생기면 지능과 기계의 관계에 대한 인식이 바뀔 수 있다.
신경과학의 기초이론의 연구 성과를 이용하여 수학방법을 통해 더 높은 지능 수준을 가진 인공신경망 모델을 탐구하고, 신경계산, 진화계산, 안정성, 수렴성, 계산복잡성, 내결함성, 노봉 등의 네트워크의 알고리즘과 성능을 깊이 연구하여 새로운 네트워크 수학 이론을 발전시켰다. 신경망의 비선형성으로 인해 비선형 문제에 대한 연구는 신경망 이론 발전의 가장 큰 추진력이다. 특히 사람들이 뇌에 혼돈이 있다는 것을 알게 된 이후, 카오스 역학으로 신경망의 연구에 영감을 주거나 신경망을 이용하여 혼돈을 만들어 내는 것은 이미 사람들의 새로운 과제가 되었다. 이는 생리적 본질의 관점에서 신경망을 연구하는 근본적인 수단이기 때문이다.
(2) 신경 네트워크 소프트웨어 시뮬레이션, 하드웨어 구현 연구 및 다양한 기술 분야에서의 신경 네트워크 응용.
인공신경망은 전통적인 컴퓨터로 시뮬레이션할 수도 있고, 집적 회로 칩으로 구성될 수도 있고, 광학 칩과 바이오칩 방법으로도 할 수 있기 때문에 소프트웨어로만 시뮬레이션, 가상 시뮬레이션, 전체 하드웨어 구현을 위한 전자신경 네트워크 컴퓨터를 개발할 수 있는 잠재력이 크다. 신경 네트워크 컴퓨터를 기존 컴퓨터, 인공지능 기술과 결합하는 방법 또한 최전선 과제다. 어떻게 하면 신경 네트워크 컴퓨터의 기능을 지능적으로 하고, 광학 신경 컴퓨터, 분자 신경 컴퓨터 등 인간의 뇌와 비슷한 기능을 가진 스마트 컴퓨터를 개발하면 매우 매력적인 전망이 있을 것이다.
4 철학
(1) 인공신경망이 인식론의 새로운 영역을 열다.
인지와 뇌의 문제는 오랫동안 사람들의 심리와 의식과 관련된 심리학 문제일 뿐만 아니라 인간의 사고 활동 메커니즘과 관련된 뇌과학과 사고과학 문제이기 때문에 물질과 의식의 기본 철학 문제에 직접적으로 관련되어 있다. 인공신경망의 발전으로 우리는 인지와 뇌의 관계를 더욱 유물변증적으로 인식하고 인식론의 새로운 영역을 개척할 수 있게 되었다. 인간의 뇌는' 인지 의식 감정' 과 같은 고급 뇌 기능을 갖춘 복잡한 병렬 시스템이다. 인공 시뮬레이션은 사고와 지능에 대한 이해를 심화시키는 데 도움이 되며 인지와 지능의 본질에 대한 연구를 크게 촉진시켰다. 뇌의 전반적인 기능과 복잡성에 대한 연구에서 인공신경망은 사람들에게 새로운 계시를 가져왔다. 인간의 두뇌에 혼돈이 있기 때문에 혼돈은 뇌의 일부 불규칙한 활동을 이해하는 데 사용될 수 있으므로 혼돈 역학 모델은 외부 세계를 모델링하는 도구로 사용될 수 있으며 인간의 두뇌의 정보 처리 과정을 설명하는 데 사용될 수 있습니다. 혼돈은 지능과 관련이 있다. 혼돈을 신경망으로 끌어들이면 인간의 이미지 사고의 신비를 밝히는 데 도움이 된다. 인공신경망의 부흥은 사물의 비선형성을 반영하고 객관적인 세계의 본질을 파악해 지능 시스템이 어떻게 환경에서 독립적으로 공부하는가에 대한 가장 중요한 질문에 어느 정도 긍정적으로 대답한다는 점이다. (알버트 아인슈타인, 지식명언) (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 과학명언) 인지적 관점에서 볼 때, 학습이란 미지의 현상이나 법칙에 대한 발견과 귀납이다. 신경망은 고도의 병렬성, 고도의 비선형 전역 기능, 우수한 내결함성과 Lenovo 메모리 기능, 강력한 적응형 및 어댑티브 학습 기능으로 지능을 드러내고 인간의 두뇌 작동 패턴을 이해하는 합리적인 방법이 되었다. 그러나 인지 문제의 복잡성으로 인해 현재 우리는 신경 네트워크의 운영과 신경 세포의 내부 처리 메커니즘에 대한 개념이 없습니다. 예를 들어, 정보가 인간의 뇌에서 어떻게 전달, 저장 및 처리되는지에 대한 개념은 없습니다. 기억, 연상, 판단이 어떻게 형성되었는가? 뇌에 운영 체제가 있습니까? 아직 인식이 많지 않기 때문에 인공신경망이 인간의 뇌의 모든 기능을 모방하게 하려면 뇌 정보 처리 메커니즘에 대한 인식이 깊어져야 한다.
(2) 인공신경망 발전의 동력은 실천, 이론, 문제의 상호 작용에서 비롯된다.
사람들의 사회 실천 범위가 지속적으로 확대되고 사회 실천 수준이 깊어지면서 사람들이 접하는 자연현상이 점점 더 다채로워지고 복잡해지면서 사람들이 다양한 원인으로 다양한 종류의 자연현상을 설명하도록 촉구하고 있다. 서로 다른 종류의 자연현상이 같은 원인으로 해석될 수 있을 때, 서로 다른 학과가 교차되어 인공신경망이 생겨났다. 초기에는 이러한 이론적 네트워크 모델이 비교적 간단하고 많은 문제가 있었으며, 이러한 모델은 실제 검증을 거의 거치지 않았기 때문에 신경 네트워크의 발전이 더디게 진행되었습니다. (윌리엄 셰익스피어, 「깨어링」, 「킹」, 「킹」, 「킹」, 「킹」, 「킹」, 「킹」) 이론 연구가 깊어짐에 따라 문제는 점차 해결되었다. 특히 공학화 실현 이후 소나 식별의 성공과 같이 신경망의 첫 번째 발전 고조를 맞았다. 하지만 Minisky 는 센서가 XOR 문제를 해결할 수 없다고 생각했고, 다층센서도 가능했고, 신경 네트워크의 연구는 주로 비선형 문제가 해결되지 않았기 때문에 슬럼프에 들어갔다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 과학명언) 이론이 끊임없이 풍부하고 실천이 깊어지면서 미니스키의 비관적인 논조가 틀렸다는 것이 증명되었다. 과학기술이 고도로 발달한 오늘날, 비선형 문제가 객관적인 세계의 본질이라는 것을 점차 밝혀냈다. 문제, 이론, 실천의 상호 작용이 인공신경망의 두 번째 고조를 맞았다. 현재 인공신경망의 문제는 지능 수준이 높지 않고, 또 다른 이론과 실현 문제가 있어 사람들이 이론 연구와 실천을 계속하도록 강요하고, 신경망의 지속적인 발전을 촉진시킨다는 것이다. 결론적으로, 이전의 원인은 다른 새로운 현상을 해석하여 사람들이 좀 더 보편적이고 정확한 이유를 제시하도록 유도했다. 이론은 기초이고, 실천은 동력이다. 그러나 이론과 실천의 역할만으로는 인공신경망의 발전을 촉진할 수 없다. 과학자들을 특정 연구 범위로 끌어들이고 관련 연구에 종사하도록 유도하여 과학적 발견에 접근할 수 있도록 문제를 제기해야 한다. 그런 다음 실천은 새로운 문제를 제기하고, 새로운 문제는 새로운 사고를 불러일으키며, 과학자들이 끊임없이 생각하고, 끊임없이 자신의 이론을 완성하게 한다. 인공신경망의 발전은 문제, 이론, 실천의 변증 통일을 구현했다.
(3) 인공신경망 발전의 또 다른 동력은 관련 학과의 공헌과 여러 학과 전문가의 경쟁과 협력에서 비롯된다.
인공신경망 자체는 변두리 학과로, 그것의 발전은 더 넓은 과학적 배경을 가지고 있으며, 수많은 과학 연구 성과의 종합 산물이다. 제어론의 창시자 비너는 대표작' 통제론' 에서 인간의 뇌뉴런을 연구했다. 컴퓨터 과학자 튜링은 B 네트의 사상을 제시했다. 프리고킨은 불균형 시스템의 자기조직 이론을 제시하여 노벨상을 받았다. 하켄은 대량의 원소공동작용으로 인한 거시효과를 연구하고 있으며, 비선형 시스템' 혼돈' 상태의 제기와 연구는 모두 원소 간의 상호 작용을 통해 복잡한 시스템을 구축하는 방법에 관한 것이다. 생물학적 시스템의 자기 조직화 행위와 비슷하다. 뇌과학과 신경과학의 진보는 바이오신경망 이론, 시각에서 발견된 측면 억제 원리, 감각 야생 개념 등 인공신경망 연구에 빠르게 반영되어 신경망 발전에 중요한 추진 역할을 했다. 인공신경망 모델은 이미 수백 가지를 제시했고, 학과가 많고, 눈코 뜰 새 없이 많으며, 응용분야의 광범위함이 경이롭다. 각기 다른 학과의 전문가들이 이 분야의 선두 수준을 달성하기 위해 다양한 수준의 경쟁을 벌이는 것은 모두 인공신경망의 발전을 강력하게 추진하고 있다. 인간의 뇌는 매우 강력하고 구조가 매우 복잡한 정보 시스템이다. 정보론, 통제론, 생명과학, 컴퓨터과학이 발달하면서 사람들은 뇌의 신기함에 점점 더 경탄하고 있다. 적어도 지금까지 인간의 뇌의 신호 처리 메커니즘은 인간에게 블랙박스였다. 인간의 두뇌의 신비를 밝히기 위해서는 신경학자, 심리학자, 컴퓨터 과학자, 마이크로 일렉트로닉스, 수학자 및 기타 전문가들의 공동 노력이 필요합니다. 또한 철학자들도 참여하여 철학과 자연과학의 깊은 결합을 통해 인간의 사고의 본질과 법칙을 탐구하는 새로운 방법을 점진적으로 배양하여 사고과학을 난해함에서 이성으로 나아가게 해야 한다. 또한 다양한 분야의 전문가들의 경쟁과 조화는 문제를 정리하고 최상의 해결책을 찾는 데 도움이 됩니다. 신경 네트워크의 발전 역사를 살펴보면 관련 학과의 공헌도 없고, 다른 학과 전문가의 경쟁과 협력도 없다면, 신경 네트워크는 오늘이 없을 것이다. 물론 인공신경망의 각 학과에서의 응용연구는 오히려 다른 학과의 발전을 촉진시켜 자신의 완벽과 발전을 촉진시켰다.