当前位置 : 主页 > 网络编程 > 其它编程 >

python爬取网页内容_使用Python爬取动态网页豆瓣电影(JSON)!

来源:互联网 收集:自由互联 发布时间:2023-07-02
好久没更新Python相关的内容了这个专题主要说的是Python在爬虫方面的应用包括爬取和处理部分第二节我们介绍如何爬取动态网页动态网页指的是网页的 好久没更新Python相关的内容了这个
好久没更新Python相关的内容了这个专题主要说的是Python在爬虫方面的应用包括爬取和处理部分第二节我们介绍如何爬取动态网页动态网页指的是网页的

好久没更新Python相关的内容了这个专题主要说的是Python在爬虫方面的应用包括爬取和处理部分

第二节我们介绍如何爬取动态网页

动态网页指的是网页的内容通过js动态加载出来的

我们可以直接使用一些开发者工具查看

这里我采用谷歌浏览器的开发者工具

开发环境

操作系统:windows 10

Python版本 :3.6

爬取网页模块:requests

分析网页模块:json

模块安装

pip3 install requests

网页分析

我们使用豆瓣电影的页面来开始分析

https://movie.douban.com/explore#!typemovie%E7%83%AD%E9%97%A8recommend200

由于是动态加载的我们这里无法直接通过get方法获取网页内容

当我们点击加载更多时可以通过开发者工具 Network选项中的XHR 来获取动态加载的js

3f9b82ed75527120bc73b615fe66c382.png

打开获取到的连接

https://movie.douban.com/j/search_subjects?typemovie%E7%83%AD%E9%97%A8recommend2020

我们可以发现连接的规律即page_limit和page_start

5abc0fca65426e65d377b70c95b62dab.png8988ee18b7de2f790e07f8b4307d4056.png

可以看到打开的内容为json格式

这里我们构造一个连接让它从第一个电影开始并显示100个

https://movie.douban.com/j/search_subjects?typemovie%E7%83%AD%E9%97%A8recommend1000

对于JSON的解析我们可以先用一个在线的网站来查看

https://jsonformatter.curiousconcept.com/5015f67f4698880463ecf7ad0a9eeec4.png

这里可以看到包含了如下信息

  • 评分
  • 电影名称
  • 电影的豆瓣链接
  • 封面地址
  • 代码介绍

    这里逐行介绍代码

    1. import相关的模块

    import requestsimport json

    2. 使用request模块打开并获取网页内容

    r requests.get(url,verifyFalse)contentr.content

    3. 使用json.load将json格式转换为python的字典格式

    这时就可以使用字典的相关方法来处理网页了

    resultjson.loads(content)tvsresult[subjects]

    4. 获取相关信息并存入字典中

    2643907b9752c6926d13dec4a6e731fc.png

    执行结果

    我们可以选择将获取到的数据放入数据库中

    b00e05d92d5aa46cd04525eb9e68d1f0.png

    源码位置

    网友评论