파충류는 일반적으로 인터넷 자원의 포착을 가리킨다. Python 의 스크립팅 특성으로 인해 python 은 쉽게 구성할 수 있고, 문자 처리가 매우 유연하며, python 에는 풍부한 웹 크롤링 모듈이 있어 자주 연결되어 있습니다. 파이썬과 함께 제공된 urllib 라이브러리만 사용하면 됩니다. 파이썬으로 검색 엔진을 쓰면 검색 엔진은 복잡한 파충류이다. 여기에서 파이썬 파충류가 무엇인지 알 수 있습니다. 파이썬 프로그래밍을 기반으로 네트워크 리소스를 캡처하는 방법입니다. 파이썬은 파충류가 아닙니다.

파이썬이 어떤 파충류에게 적합한 이유는 무엇입니까?

1) 웹 페이지 자체의 인터페이스를 캡처합니다.

웹 문서를 캡처하는 인터페이스는 Java, c#, C++ 및 python 과 같은 다른 정적 프로그래밍 언어보다 간단합니다. Urllib2 패키지는 perl, shell, python 등의 다른 동적 스크립팅 언어에 비해 상대적으로 완전한 웹 문서 액세스 API 를 제공합니다. (물론 루비도 좋은 선택이다. ) 을 참조하십시오

또한 웹 페이지를 캡처하려면 브라우저의 동작을 시뮬레이션해야 하는 경우도 있으며, 많은 웹 사이트에서는 무뚝뚝한 파충류 잡기를 금지하고 있습니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 웹 사이트명언) 사용자 로그인 시뮬레이션, 세션/쿠키 저장 및 설정 시뮬레이션과 같은 적절한 요청을 만들기 위해 사용자 에이전트의 동작을 시뮬레이션해야 합니다. 파이썬에는 Requests 나 mechanize 와 같은 훌륭한 타사 패키지가 있습니다.

2) 웹 페이지 캡처 후 처리

캡처한 웹 페이지는 일반적으로 html 태그 필터링, 텍스트 추출 등과 같은 처리가 필요합니다. Python 의 beautifulsoap 은 매우 짧은 코드로 대부분의 문서 처리를 수행할 수 있는 간결한 문서 처리 기능을 제공합니다.

사실, 많은 언어와 도구가 이러한 기능을 수행 할 수 있지만 파이썬은 가장 빠르고 깨끗합니다. 인생은 짧습니다, 당신은 파이썬 필요 합니다.