目录 1.方法一:使用urllib模块 2.方法二:使用requests模块 3.方法三:使用selenium模块 4.方法四:使用Scrapy框架 总结 1.方法一:使用urllib模块 Python中最基础的网络请求是使用urllib模块,我
- 1.方法一:使用urllib模块
- 2.方法二:使用requests模块
- 3.方法三:使用selenium模块
- 4.方法四:使用Scrapy框架
- 总结
Python中最基础的网络请求是使用urllib模块,我们可以利用它来使用代理IP。在使用urllib时,我们需要使用ProxyHandler类来处理代理信息,代码如下:
import urllib.request # 设置代理IP proxy_ip = "http://127.0.0.1:8888" # 构造代理处理器对象 proxy_handler = urllib.request.ProxyHandler({"http": proxy_ip}) # 构造一个自定义的opener对象 opener = urllib.request.build_opener(proxy_handler) # 使用自定义的opener对象发起访问请求 response = opener.open("http://www.baidu.com") # 打印请求结果 print(response.read().decode("utf-8"))
在