분석:

검색 엔진

검색 엔진 개념

검색 엔진이란 특정 정책으로 인터넷에서 정보를 수집하고, 정보를 구성 및 처리하고, 사용자에게 검색 서비스를 제공하는 시스템입니다. 사용자의 관점에서 검색 엔진은 검색 상자가 있는 페이지를 제공합니다. 검색 상자에 단어를 입력하고 브라우저를 통해 검색 엔진에 제출하면 검색 엔진은 사용자가 입력한 내용과 관련된 정보 목록을 반환합니다. 인터넷 발전 초기에는 야후를 대표하는 사이트 분류 카탈로그 조회가 유행했다. 웹 사이트의 분류 디렉토리는 수동으로 구성 및 유지 관리됩니다. 인터넷상의 우수한 웹사이트가 선정되어 간략하게 설명되고, 분류는 다른 디렉터리에 배치된다. (윌리엄 셰익스피어, 윈스턴, 인터넷명언) (윌리엄 셰익스피어, 윈스턴, 인터넷명언) 사용자가 질의할 때 층층 클릭을 통해 원하는 사이트를 찾을 수 있다. 어떤 사람들은이 디렉토리 기반 검색 서비스 웹 사이트를 검색 엔진으로 간주하지만 엄격한 검색 엔진은 아닙니다.

검색 엔진 작동 방식

세 부분으로 나눌 수 있습니다.

1. 웹 페이지 캡처

각 개별 검색 엔진에는 자체 거미가 있습니다. 거미는 웹 페이지의 하이퍼링크를 추적하여 계속 기어다닌다. 하이퍼링크는 인터넷에서 널리 사용되기 때문에 이론적으로 일정 범위의 웹 페이지에서 대부분의 웹 페이지를 수집할 수 있습니다.

2, 웹 페이지 처리

검색 엔진이 웹 페이지를 캡처한 후 대량의 사전 처리 작업을 해야 검색 서비스를 제공할 수 있다. 그중에서 가장 중요한 것은 키워드를 추출하고 색인 파일을 만드는 것이다. 기타에는 중복 웹 페이지 삭제, 하이퍼링크 분석, 웹 페이지의 중요성 계산 등이 포함됩니다.

3. 검색 서비스 제공

사용자가 키워드를 입력하여 검색하고 검색 엔진은 인덱스 데이터베이스에서 키워드와 일치하는 웹 페이지를 찾습니다. 사용자가 쉽게 판단할 수 있도록 페이지의 제목과 URL 외에도 페이지의 요약 등의 정보가 제공됩니다.

검색 엔진 개발 기록

1990 아치는 캐나다 맥길 대학교 컴퓨터학원 사제가 개발했다. 그 당시 월드 와이드 웹은 아직 나타나지 않았고, 사람들은 FTP 를 사용하여 통신 자원을 즐겼다. Archie 는 FTP 서버의 파일 이름 정보를 정기적으로 수집 및 분석하고 각 FTP 호스트의 파일 검색을 제공합니다. 사용자는 검색할 정확한 파일 이름을 입력해야 하며, Archie 는 파일을 다운로드할 수 있는 FTP 서버를 알려 줍니다. 아치가 수집한 정보 자원은 웹 페이지 (HTML 파일) 가 아니지만 검색 엔진과 같은 방식으로 작동합니다. 즉, 정보 자원을 자동으로 수집하고 색인을 작성하고 검색 서비스를 제공합니다. 그래서 아치는 현대 검색 엔진의 원조로 인정받고 있다.

로봇이라는 단어는 프로그래머에게 특별한 의미를 가지고 있다. 컴퓨터 로봇은 인간이 도달할 수 없는 속도로 임무를 반복할 수 있는 자동화 프로그램을 말한다. 정보를 검색하는 로봇 프로그램이 거미처럼 인터넷을 기어다니기 때문에 검색 엔진의 로봇 프로그램을 거미 프로그램이라고 합니다.

매튜 그레이는 1993 년 월드 와이드 웹 로버를 개발했는데, 이는 HTML 페이지 간의 연결 관계를 이용하여 월드 와이드 웹 규모를 감지하는 최초의 로봇 프로그램이다. 처음에는 인터넷에 있는 서버의 수를 집계하는 데 사용되었지만 나중에 웹 주소 (URL) 를 캡처할 수 있었습니다.

1994 년 4 월 스탠퍼드대 박사 양치원 (양치원) 과 데이비드 페로 * * * 가 공동으로 야후를 창립했다. 방문수와 링크 수가 늘어남에 따라 야후 카탈로그는 간단한 데이터베이스 검색을 지원하기 시작했습니다. 야후 때문에! 의 데이터는 수동으로 입력되므로 실제로 검색 엔진으로 분류할 수 없습니다. 사실 검색 가능한 디렉토리일 뿐입니다. 야후는 2002 년 2 월 23 일 inktomi 인수, 2003 년 7 월 23 일 f.a.s.t. 와 Altavista 를 포함한 Overture 인수, 2003 년 6 월 23 일 야후는 372 1 회사를 전액 인수했다.

1994 년 초 워싱턴 대학의 학생인 브라이언 핑크턴이 그의 작은 프로젝트 웹 크롤러를 시작했다. 1994 년 4 월 20 일 WebCrawler 는 서버 6,000 대의 컨텐츠만 포함했습니다. WebCrawler 는 인터넷에서 문서의 모든 단어 검색을 지원하는 최초의 전체 텍스트 검색 엔진입니다. 이전에는 사용자가 URL 과 요약을 통해서만 검색할 수 있었습니다. 일반적으로 수동 주석 또는 텍스트 앞 100 단어를 자동으로 추출하는 프로그램에서 검색할 수 있었습니다.

1994 년 7 월 카네기멜론 대학의 Michael Mauldin 은 John Leavitt 의 spider 프로그램을 색인 프로그램에 연결하고 Lycos 를 만들었습니다. Lycos 는 관련성 순위 외에도 접두어 일치 및 문자 유사성 제한을 제공합니다. Lycos 는 먼저 검색 결과에 웹 페이지 자동 다이제스트를 사용했으며, 가장 큰 장점은 다른 검색 엔진의 데이터 양을 훨씬 능가한다는 것입니다.

1994 가 끝나고 Infoseek 가 공식적으로 등장했습니다. 친숙한 인터페이스와 다양한 추가 기능을 통해 Lycos 와 같은 검색 엔진의 중요한 대표가 되었습니다.

1995 년, 새로운 형태의 검색 엔진인 메타 검색 엔진 개요가 등장했다. 사용자는 검색 요청을 한 번만 제출하면 됩니다. 메타 검색 엔진이 변환 처리를 담당하고, 미리 선택된 여러 개의 독립 검색 엔진에 제출하고, 각 독립형 검색 엔진에서 반환된 질의 결과를 모두 수집하여 사용자에게 반환합니다. 첫 번째 메타 검색 엔진은 워싱턴 대학의 석사생인 에릭 셀버그와 류문환 에치오니 (Liu Wenhuan Ezioni) 의 메타 크롤러 (Metacrawler) 입니다.

1995 65438+2 월 DEC 는 AltaVista 를 공식 발표했습니다. AltaVista 는 자연어 검색을 지원하는 최초의 검색 엔진이자 고급 검색 구문 (예: and, OR, NOT 등) 을 구현하는 최초의 검색 엔진입니다. ). 사용자는 AltaVista 를 사용하여 뉴스 그룹의 내용을 검색하고 인터넷에서 문장 정보를 얻을 수 있으며 그림 이름, 제목, 자바 애플릿 및 ActiveX 개체에서 단어를 검색할 수 있습니다. 또한 AltaVista 는 사용자가 웹 인덱스 데이터베이스에 URL 을 제출하거나 삭제할 수 있도록 지원하는 최초의 검색 엔진이며 24 시간 이내에 시작할 수 있다고 주장합니다. AltaVista 의 가장 흥미로운 새로운 기능 중 하나는 URL 링크가 있는 모든 웹 사이트를 검색하는 것입니다. AltaVista 는 사용자 지향 인터페이스에서 많은 혁신을 했습니다. 검색 상자 영역에 "힌트" 를 배치하여 사용자가 검색 스타일을 더 잘 표현할 수 있도록 합니다. 이러한 팁은 자주 업데이트되므로 사용자가 여러 번 검색한 후 결코 알지 못할 수 있는 많은 흥미로운 기능을 볼 수 있습니다. 이 일련의 기능은 점차 다른 검색 엔진에 의해 광범위하게 채택되고 있다. 1997 년 AltaVista 는 사용자가 수천 개의 검색 결과에서 원하는 것을 찾을 수 있도록 그래픽 데모 시스템인 라이브 토픽을 발표했습니다.

1995 년 9 월 26 일, 캘리포니아 대학 버클리 조교수 에릭 브루어 (Eric Brewer) 와 박사 폴 고틸 (Paul Gauthier) 이 Inktomi 를 설립했다. 1996 년 5 월 20 일 Inktomi 가 설립되어 강력한 HotBot 이 세상 앞에 나타났다. 매일 65438+ 1 억 페이지 이상의 인덱스를 캡처할 수 있다고 주장하므로 다른 검색 엔진보다 훨씬 더 많은 새로운 컨텐츠가 있습니다. 또한 HotBot 은 쿠키를 사용하여 사용자의 개인 검색 기본 설정을 저장합니다.

1997 년 8 월 북극광 검색 엔진이 공식 등장했다. 데이터베이스에서 가장 큰 검색 엔진 중 하나였습니다. 그것은 정지자가 없다. 훌륭한 시사뉴스, 7 100 개 이상의 간행물로 구성된 특별 컬렉션, 그리고 좋은 고급 검색 문법이 있습니다. 검색 결과를 지원하는 최초의 단순 자동 분류입니다.

1998 10 이전에는 구글이 스탠포드 대학의 작은 프로젝트였던 BackRub 였습니다. 1995 년 박사 래리 페이지는 검색 엔진 설계를 연구하기 시작했고 9 월 15 일 구글의 도메인 이름 1997 에 등록했다. 1997 년 말 세르게이 부울, 스콧 하산, 애륜 스트렌버그의 참여로 BachRub 는 Demo 를 제공하기 시작했다. /Alpha-0/999 년 2 월 구글은 알파판에서 베타 버전으로의 전환을 완료했습니다. 구글은 1998 년 9 월 27 일을 자신의 생일로 삼았다. 구글은 Pagerank 를 바탕으로 웹 페이지의 중요성을 판단해 검색 결과의 관련성을 크게 높였다. 구글의 극객문화와 악행을 하지 않는 것은 구글에 높은 명성과 브랜드 입소문을 불러일으켰다. 2006 년 4 월 구글은 자신의 중국어 이름' 구글' 을 발표했다. 이는 구글이 비영어권 국가에서 내놓은 첫 번째 이름이다.

Fast(Alltheweb) 는 1997 에 설립되어 노르웨이 과학기술대학 (NTNU) 학술 연구의 부산물이다. 1999 년 5 월 자체 검색 엔진 AllTheWeb 이 발표되었습니다. F.a.s.t. 의 목표는 세계에서 가장 크고 빠른 검색 엔진을 만드는 것입니다. F.a.s.t. (all the web) 는 ODP 별로 웹 페이지를 자동으로 분류하고, Flash 및 pdf 검색을 지원하고, 다국어 검색을 지원하며, 뉴스 검색, 사진 검색, 비디오, MP3 및 FTP 검색을 제공하며, 매우 강력한 고급 검색 기능을 제공합니다. (2003 년 2 월 25 일 f.a.s.t. 의 인터넷 검색 부서는 Overture 에 인수되었습니다.)

1996 년 8 월 소후사가 설립되어 중국어 사이트 분류 목록을 만들었는데, 한때' 지도를 찾아 인터넷을 통해 소후를 찾다' 는 명성을 얻었다. 인터넷 사이트가 급속히 늘어남에 따라 이런 수동으로 편집한 분류 카탈로그는 더 이상 적용되지 않는다. 2004 년 8 월 소후는 독립 도메인 이름 검색 사이트' 써우거우' 로' 3 세대 검색 엔진' 이라고 자칭했다.

Openfind 는 1998 65438+ 10 월에 설립되었으며, 대만 중정대 오생 교수가 이끄는 GAIS 연구소에서 유래한 기술입니다. 처음에 Openfind 는 단지 중국어 검색 엔진일 뿐이다. 절정기에 시나, 치모, 야후라는 세 개의 유명한 포털사이트에 중국어 검색 엔진을 제공했다. 그러나 2000 년 이후 시장은 점차 바이두와 구글에 의해 분할되었다. 2002 년 6 월, Openfind 는 GAIS30 프로젝트를 기반으로 Openfind 검색 엔진의 베타 버전을 재발행했고, PolyRankTM 을 출시했으며, 35 억 페이지를 축적하여 영어 검색 분야에 진출하기 시작했다고 발표했습니다.

5438 년 6 월 +2000 년 10 월, 두 북경대학교 동창, 하이퍼링크 분석의 특허 발명가, Infoseek 전 수석 엔지니어 리옌훙, 그의 친구 서용 (캘리포니아 버클리 박사 후) 이 베이징 중관촌에 바이두회사를 설립했다. 바이두 검색 엔진 베타 버전은 200 1 년 8 월 발표됐다 (바이두는 소호, 시나닷컴, 톰 등 다른 포털에만 검색 엔진을 제공한다), 바이두 검색 엔진은 200 1 년 10 월 22 일 공식 발표됐다 바이두 검색 엔진의 다른 기능으로는 바이두 스냅샷, 웹 미리 보기/모든 웹 미리 보기, 관련 검색어, 오타 수정 힌트, MP3 검색 및 플래시 검색이 있습니다. 2002 년 3 월 Blitzen 프로젝트가 시작된 이후 기술 업그레이드가 크게 가속화되었습니다. 나중에 또 스티커, 지식, 지도, 국학, 백과사전 등 일련의 제품을 내놓아 네티즌들의 호평을 받았다. 2005 년 8 월 5 일 나스닥에 상장되어 발행 가격이 27.00 달러, 코드 BIDU 입니다. 개장 가격은 66.00 달러로 122.54 달러로 353.85% 상승해 최근 5 년간 미국 주식 상장 신주의 최고 상승폭을 기록했다.

2003 년 2 월 23 일, 65438, 원혜총 검색이 정식으로 독립적으로 운영되어 중국 검색이 성립되었다. 2004 년 2 월 중국은 데스크톱 검색 엔진 인터넷 돼지 1.0 을 발표했다. 2006 년 3 월 중국 수색은 인터넷 돼지 IG(Inter Gateway) 로 이름이 바뀌었다.

2005 년 6 월 시나닷컴은 자율적으로 개발한 검색 엔진' 애문' 을 공식 선보였다.

검색 엔진의 비즈니스 모델

검색 엔진 개발 초기에는 대부분 기술 제공자로서 다른 사이트에 검색 서비스를 제공하고 사이트는 검색 엔진에 비용을 지불했습니다. 이후 200 1 인터넷 거품이 터지면서 대부분 입찰 순위로 바뀌었다.

현재 검색 엔진의 주류 비즈니스 모델 (바이두의 입찰 순위, 구글의 AdWords) 은 모두 검색 결과 페이지에 광고를 넣어 사용자의 클릭량을 통해 광고주에게 요금을 청구한다. 이 모델은 빌 그로스가 먼저 제안한 것이다. 그는 1998 년 6 월 고토 회사 (2006 년 9 월 Overture 5438+0 으로 이름 변경) 를 설립하여 이 모델을 구현하여 큰 성공을 거두고 특허를 신청했습니다. 이 모델에는 두 가지 특징이 있습니다. 하나는 클릭 지불이고, 사용자는 광고주를 클릭하지 않고 비용을 지불하지 않습니다. 두 번째는 입찰 순위로 광고주가 지급한 금액에 따라 결과 순위를 매긴 것이다. 200 1, 10, 구글은 AdWords 를 출시했고, 클릭당 비용 (cast-per-to-click) 과 입찰 방식을 사용했습니다. 2002 년에 Overture 는 구글 특허 침해를 기소했다. 2004 년 8 월 야후! 야후! 2003 년 7 월 Overture 인수를 통해 270 만 주 보통주 (3 억 달러 미만) 를 화해비로 지급하기로 합의했습니다.

AdSense 는 구글이 2003 년에 내놓은 새로운 광고 방식이다. AdSense 는 모든 규모의 제 3 자 인터넷 출판사들이 구글의 방대한 광고고객 네트워크에 접근할 수 있도록 했다. 구글은 이러한 제 3 자 웹 페이지에 웹 콘텐츠와 관련된 광고를 배치하는데, 방문자가 이 광고를 클릭하면 인터넷 출판사가 수입을 얻을 수 있다. AdSense 는 blogger 에서 매우 인기가 있습니다. 동시에 구글이 무단으로 일부 계정을 삭제해 일부 사람들의 불만을 불러일으켰다. 다른 검색 엔진도 비슷한 광고 방식을 내놓았다. 야후의 광고 방법은 YPN (야후 출판사 Neork) 이다. YPN 은 웹 페이지에 콘텐츠 관련 광고뿐만 아니라 RSS 구독에도 광고를 표시할 수 있습니다. Microsoft 의 광고 프로그램은 AdCenter 라고 합니다. 바이두도 테마 홍보를 시작했습니다.