방법: 기존 파충류는 하나 이상의 초기 웹 페이지의 URL 로 시작하여 초기 웹 페이지의 URL 을 가져옵니다. 웹 페이지를 등반하는 동안 시스템의 특정 중지 조건이 충족될 때까지 현재 페이지에서 새 URL 을 계속 추출하여 대기열에 넣습니다. 파충류에 초점을 맞추는 작업 흐름은 복잡하기 때문에 특정 웹 페이지 분석 알고리즘에 따라 주제와 무관한 링크를 필터링하고 유용한 링크를 유지하며 URL 대기열에 넣어 포착을 기다려야 합니다.

그런 다음 특정 검색 정책에 따라 대기열에서 다음 URL 을 선택하고 시스템의 특정 조건에 도달할 때까지 위 절차를 반복합니다. 또한 파충류가 기어오르는 모든 웹 페이지는 시스템에 저장되고, 어느 정도 분석 및 필터링되며, 사후 쿼리 및 검색을 위한 색인을 작성합니다. 초점 파충류의 경우 이 과정에서 얻은 분석 결과도 후속 크롤링 프로세스에 대한 피드백과 지침을 제공할 수 있습니다.

웹 크롤러 (Web crawler, 일명 web spider, web robot, FOAF 커뮤니티에서는 종종 web chaser 라고 불림) 는 특정 규칙에 따라 월드 와이드 웹의 정보를 자동으로 캡처하는 프로그램이나 스크립트로 인터넷 분야에서 널리 사용되고 있습니다. 검색 엔진은 웹 크롤러를 사용하여 웹 페이지, 문서, 심지어 사진, 오디오, 비디오 등의 리소스를 캡처하여 해당 인덱싱 기술을 통해 이러한 정보를 구성하여 검색 사용자에게 제공합니다.