현대의 검색 엔진의 원조는 몬트리올 대학의 학생인 애륜 엠타지가 1990 년에 발명한 아치 (Archie) 이다. 당시 월드 와이드 웹은 아직 나타나지 않았지만, 인터넷에서의 파일 전송은 상당히 빈번했고, 대량의 파일이 여러 가지 흩어진 FTP 호스트에 분산되어 있어 조회가 매우 불편했기 때문에 애륜 엠타지는 파일 이름으로 파일을 찾을 수 있는 시스템 개발을 생각하고 아치가 생겨났다.
아치의 작동 원리는 현재의 검색 엔진과 매우 가깝다. 스크립트 프로그램을 사용하여 온라인 파일을 자동으로 검색한 다음 사용자가 특정 표현식으로 조회할 수 있도록 관련 정보를 색인화합니다. Archie 의 인기에 힘입어 미국 네바다 주 시스템 컴퓨팅 서비스 대학은 1993 에서 또 다른 유사한 검색 도구를 개발했지만, 현재 검색 도구는 색인 파일뿐 아니라 웹 페이지도 검색할 수 있습니다.
당시' 로봇' 이라는 단어는 프로그래머들 사이에서 매우 유행했다. 컴퓨터 로봇은 인간이 달성할 수 없는 속도로 쉬지 않고 어떤 임무를 수행할 수 있는 소프트웨어 프로그램을 말한다. 정보를 검색하는 로봇 프로그램이 거미처럼 인터넷을 기어다니기 때문에 검색 엔진의' 로봇' 프로그램을' 거미' 프로그램이라고 합니다.
세계 최초의 인터넷 발전 규모를 감시하는' 로봇' 프로그램은 매튜 그레이가 개발한 월드 와이드 웹 로밍객이다. 처음에는 인터넷상의 서버 수를 집계하는 데 사용되었다가 나중에 사이트 도메인 이름을 검색할 수 있게 되었다.
로밍객에 대응하여 마틴 코스트는 1993 년 6 월 알리웹, 아치의 HTTP 판을 창립했다. 알리웹은' 로봇' 프로그램을 사용하지 않고, 우리가 현재 잘 알고 있는 야후와 비슷한 웹사이트의 정보를 자발적으로 제출하여 자신의 링크 색인을 만든다. (알버트 아인슈타인, Northern Exposure (미국 TV 드라마), 예술명언)
인터넷의 급속한 발전에 따라 모든 새로운 웹 페이지를 검색하는 것이 점점 어려워지고 있다. 그래서 매튜 그레이의' 유람객' 을 바탕으로 일부 프로그래머들은 전통적인 거미 프로그램의 작동 원리를 개선했다. 이 아이디어는 모든 웹 페이지가 다른 웹 사이트에 연결될 수 있기 때문에 다음 웹 사이트 중 하나를 통해 전체 인터넷을 검색할 수 있다는 것입니다. 1993 년 말까지, 이 원리를 기반으로 하는 검색 엔진이 속속 등장하기 시작했는데, 그중에는 JumpStation, 월드 와이드 웹 웜 (Goto 의 전신, 오늘날의 Overture) 및 기술 자료 기반 소프트웨어 엔지니어링 (RBSE) 거미가 가장 유명하다.
JumpStation 과 WWW Worm 은 검색 도구가 데이터베이스에서 일치하는 정보를 찾은 순서로만 검색 결과를 정렬하며 정보 연관은 없습니다. RBSE 는 키워드 문자열 일치의 개념을 검색 결과 순위에 도입한 최초의 엔진입니다.
최초의 현대 검색 엔진이 1994 년 7 월에 나타났다. 당시 마이클 몰딘 (Michael Mauldin) 은 존 레베트 (John Leavitt) 의 거미 프로그램을 색인 프로그램에 연결하고 Lycos 를 만들었는데, 이 프로그램은 현재 널리 알려져 있다. 같은 해 4 월 스탠포드 대학의 박사 학생 데이비드 페로 (David Filo) 와 미국계 중국인 제리 양 (Gerry Yang) 이 공동으로 슈퍼카탈로그 색인 야후 (Yahoo) 를 설립해 검색 엔진의 개념을 깊이 파고드는 데 성공했다. 그 이후로 검색 엔진은 고속 개발 기간에 접어 들었습니다. 현재 인터넷에는 수백 개의 유명한 검색 엔진이 있으며, 검색한 정보의 양은 이전과 비교할 수 없습니다. 예를 들어, 최근 각광을 받고 있는 구글은 데이터베이스에 30 억 페이지를 저장했습니다!
인터넷의 급속 한 확장으로, 검색 엔진은 현재 시장 상황에 혼자 적응할 수 없다, 그래서 지금 검색 엔진 사이 분업 협력, 직업적인 검색 엔진 기술 및 검색 데이터베이스 서비스 제공 업체가 있다. 외국 Inktomi (Yahoo 에 인수) 와 같은 사용자 지향 검색 엔진이 아니라 Overture (원래 GoTo, Yahoo 에 인수), LookSmart, MSN, HotBot 등 기타 검색 엔진에 전체 텍스트 검색 서비스를 제공합니다. 중국의 바이두도 이런 부류 (주 1) 에 속하며 소후와 시나닷컴은 모두 그 기술 (주 2) 을 사용한다. 그래서 이런 의미에서 그들은 검색 엔진의 검색 엔진이다.