首先呢,我们要确保我们已经之前安装requests库,如果没有安装,按照下面步骤按照库。
pip 安装无论是 Windows、Linux 还是 Mac,都可以通过 pip 这个包管理工具来安装。
在命令行下运行如下命令即可完成 requests 库的安装:
pip3 install requests
这是最简单的安装方式,推荐此种方法安装。
验证安装为了验证库是否已经安装成功,可以在命令行下测试一下:
import requests res = requests.get('https://www.baidu.com/') print(res)
输入如上内容,如果什么错误提示也没有,那么就证明我们已经成功安装了 requests。
2.实例引入requests库请求网页用到的是get()方法,下面通过实例来看一下。
import requests res = requests.get('https://www.baidu.com/') print(type(res)) print(res) print(res.text) print(res.cookies)
这里我们调用get()方法实现,得到一个response对象,然后分别输出response的类型,状态码,内容以及cookies。
只能成功地使用get()方法发起一个get()请求并不足为奇,还有其他更方便的请求可供使用。比如post(),put()等等。
3.get()请求HTTP最常见的请求之一就是GET请求,下面我们首先先来了解一下利用requests构建GET的方法
基本实例首先,我们构建一个最简单的get请求,请求的链接如下,该网站会判断如果用户发起的的是get请求的话,它就会返回响应的请求信息
import requests res = requests.get('http://httpbin.org/get') print(res.text)
运行的结果如下:
{ "args": {}, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Host": "httpbin.org", "User-Agent": "python-requests/2.27.1", "X-Amzn-Trace-Id": "Root=1-637ae5d7-35da1bf57b139d152585d12a" }, "origin": "223.215.67.113", "url": "http://httpbin.org/get" }
可以发现,我们成功发起了get请求,返回结果中包含请求头,url,IP等信息。
那么,对于GET请求,如果我们想要附加额外信息,一般怎么添加呢?比如讲,现在想添加两个参数,其中name是Tina,age是18。要构造这个请求链接,是不是可以直接写成:
r = requests.get('http://httpbin.org/get?name=Tina&age=18')
这样也是可以的,我们还可以通过字典来构造。利用params这个参数就好了。
import requests data = { 'name':'Tina', 'age':'18' } res = requests.get('http://httpbin.org/get',params = data) print(res.text)
运行结果如下:
{ "args": { "age": "18", "name": "Tina" }, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Host": "httpbin.org", "User-Agent": "python-requests/2.27.1", "X-Amzn-Trace-Id": "Root=1-637ae902-695483e87b26b3ad49d15df7" }, "origin": "223.215.67.113", "url": "http://httpbin.org/get?name=Tina&age=18" }
通过运行结果判断,请求的链接自动变成了带有后缀的链接。
此外,实际上网页返回的是字符串类型(str),但是其格式为json(),我们可以使用json来返回一个字典。如果不是json格式,使用json就会报错,抛出json.decoder.JSONDecodeError异常。
4.post()请求除了最基本的get请求,还有一种比较常见的请求方式是post().。使用requests实现post请求也是非常简单,示例如下。
import requests res = requests.post('http://httpbin.org/post') print(res.text)
运行之后就会发现得到了结果,就说明我们post请求成功。
5.响应发送请求,之后得到的肯定就是响应。除了text,还有状态码,响应头,cookies等等。
requests 库可以用来发送 HTTP 请求并获取响应。发送 HTTP 请求后,从服务器返回的所有数据都会包含在 Response 对象中。Response 对象有以下属性:
status_code:HTTP 状态码,表示服务器的响应状态。
headers:一个字典,其中包含了从服务器返回的所有头部信息。
body:一个字节串,包含了从服务器返回的所有数据。