当前位置 : 主页 > 网络编程 > 其它编程 >

抓取图片时如何判断图片已经下载完毕了

来源:互联网 收集:自由互联 发布时间:2023-07-02
初学Python,通过尝试抓取网页内容来当突破口。 初学 Python,通过尝试抓取网页内容来当突破口。 目前的方法是: 从列表页获取页内所有的详情页地址; 从详情页地址中获取所有的图片
初学Python,通过尝试抓取网页内容来当突破口。
  • 初学 Python,通过尝试抓取网页内容来当突破口。

  • 目前的方法是:

  • 从列表页获取页内所有的详情页地址;

  • 从详情页地址中获取所有的图片地址,并以详情页 url 的最后一段作为文件夹的名称;

  • 每个图片地址起一个线程,拿到图片内容并存下来,用 url 的最后一段作为文件名;

  • 环境是 win10 + python3,用到的库主要是 PyQuery、requests,抓的是 lofter 的网页。

  • 目前遇到的问题是:下载下来的图片很可能只有一半,上半截是图片,下半截是红蓝绿交替

  • 尝试过每抓一张图片就 sleep2 秒钟,并没有效果。

  • 想请问有啥办法判断图片是否下载完成么?我现在想到的一个办法是根据图片大小来判断,但是召回和准确难以兼顾。

  •    

    网友评论