学习《Python网络爬虫 从入门到精通》_掌握爬虫的精髓_11.1 数据抓取

确定了 URL, 接下来再分析如何请求和下载网页。通过上面的分析可知，此处需要得 到网页响应的全部内容，以便从里面取出每条在售房源的基本信息。这个案例中选取了功能 更强大的 Python 的 Requests 库，当然也可以用urllib 库。

为了尽可能地模拟真实请求，在这个案例中发出请求的时候加了 Header,Header 中定 制 User-Agent 信息，不过由于爬虫程序规模不大，被 ban (封禁)的可能性很低，因此只写 了一个固定的 User-Agent,如果要大规模地使用 User-Agent,可以使用 Python 的 fake- useragent 库。在请求中添加 HTTP 头部，只要简单地传递一个 dict 给 headers 参数就可以 了。需要注意的是，所有的 Header 值必须是 string、bytestring 或者 unicode。尽管传递 unicode 类型的 Header 也是允许的，但不建议这样做。

此外， Requests 在许多方面做了优化，比如字符集的解码，Requests 会自动对来自服务 器的内容进行解码。大多数 unicode 字符集都能被无缝地解码，所以在大部分情况下，开发 者都可以忽略字符集的问题。

【提示】 请求发出后， Requests 会基于 HTTP 头部对响应的编码做出有根据的推测。访 问 rtext 之 时 ，Requests 会使用其推测的文本编码。开发者可以找出 Requests 使用了什么编 码，并且能够使用 rencoding 属性来改变它。如果改变了编码，每当访问rtext 时，Requests 都将会使用 r.encoding 的新值。开发者可能希望在使用特殊逻辑计算出文本的编码的情况下 来修改编码，比如 HTTP 和 XML 自身可以指定编码。这样的话，就应该使用 r.content 来找到编码，然后设置 r.encoding 为相应的编码，然后就能使用正确的编码解析 rtext 了。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们 18664393530@aliyun.com 处理，核实后本网站将在24小时内删除侵权内容。