当我们需要调用的时候可以 通过pandas包进行直接调用 1.需要导入的包是csv包,表示可以将相关信息存入csv表中 2.需要导入的包是re包,用于正则表达式的书写 3.需要导入额包是requests包,用
当我们需要调用的时候可以 通过pandas包进行直接调用
- 1.需要导入的包是csv包,表示可以将相关信息存入csv表中
- 2.需要导入的包是re包,用于正则表达式的书写
- 3.需要导入额包是requests包,用于获取网页源代码
获取网页源码的代码是:
url = "https://www.baidu.com"headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36"
}
resp = requests.get(url=url,headers=headers)
print(resp.text)
需要注意的是:正则表达式的书写方式有很多,一定要注意最后文件的关闭,防止被IP禁止或者占用内存资源.
我们可以将我们爬取的内容存放入excel或者csv表中,方便之后进行数据分析.
f = open("data.csv", mode="w", encoding="utf-8", newline='')csvlist = csv.writer(f)