学习《Python网络爬虫 从入门到精通》_掌握爬虫的精髓_1.4 互联网、HTTP与HTML

【摘要】 本书摘自《Python网络爬虫 从入门到精通》一书中第1章，第4节，吕云翔、张扬和韩延刚等编著。

1.4 互联网、HTTP与HTML

1.4.1 互联网与HTTP

互联网或者叫因特网 (Internet), 是指网络与网络所串联成的庞大网络，这些网络以一 组标准的网络协议族相连，连接全世界几十亿个设备，形成逻辑上的单一巨大国际网络。它 由从地方到全球范围内几百万个私人的、学术界的、企业的和政府的网络所构成，通过电 子、无线和光纤等一系列广泛的技术来实现(见图1-20)。这种将计算机网络互相联接在一 起的方法可称作“网络互联”,在此基础上发展出来的覆盖全世界的全球性互联网络称为 “互联网”,即互相连接在一起的网络。

【提示】 互联网并不等于万维网(WWW), 万维网只是一个超文本相互链接而成的全 球性系统，而且是互联网所能提供的服务之一。互联网包含广泛的信息资源和服务，例如相 互关联的超文本文件，还有万维网的应用，支持电子邮件的基础设施、点对点网络、文件共 享，以及IP 电话服务。

HTTP 是一个客户端(用户)和服务器端(网站)之间进行请求和应答的标准。通过 使用网页浏览器、网络爬虫或者其他工具，客户端可以向服务器上的指定端口(默认端口 为80)发起一个 HTTP 请求。这个客户端称为用户代理 (user agent)。应答服务器上存储 着一些资源，比如 HTML 文件和图像。这个应答服务器称为源服务器 (origin server)。在用户代理和源服务器中间可能存在多个“中间层”,比如代理服务器、网关或者隧道 (tunnel) 。 尽管 TCP/IP 是互联网上最流行的协议，但 HTTP 中并没有规定必须使用它或它 支持的层。

事实上， HTTP 可以在互联网协议或其他网络上实现。HTTP 假定其下层协议能够提供 可靠的传输，因此，任何能够提供这种保证的协议都可以使用。使用 TCP/IP 协议族时 TCP 作为传输层。通常由 HTTP 客户端发起一个请求，创建一个到服务器指定端口(默认是80 端口)的 TCP 连接。HTTP 服务器则在该端口监听客户端的请求。 一旦收到请求，服务器 会向客户端返回一个状态(比如 “HTTP/1.1200 OK”), 以及请求的文件、错误消息等响应 内容。

HTTP的请求方法有很多种，主要包括以下几个。

● GET: 向指定的资源发出“显示”请求。GET 方法应该只用于读取数据，而不应当 被用于产生“副作用”的操作中(例如在Web Application中)。其中一个原因是GET 可能会被网络蜘蛛等随意访问。

● HEAD: 与 GET 方法一样，都是向服务器发出指定资源的请求，只不过服务器将不 会传回资源的内容部分。它的好处在于，使用这个方法可以在不必传输全部内容的 情况下，就获取到其中“关于该资源的信息”(元信息或元数据)。

● POST: 向指定资源提交数据，请求服务器进行处理(例如提交表单或者上传文件)。 数据被包含在请求文本中。这个请求可能会创建新的资源或修改现有资源，或二者 皆有。

● PUT: 向指定资源位置上传输最新内容。

● DELETE: 请求服务器删除 Request-URI 所标识的资源。

● TRACE: 回显服务器收到的请求，主要用于测试或诊断。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们 18664393530@aliyun.com 处理，核实后本网站将在24小时内删除侵权内容。