初学Python,通过尝试抓取网页内容来当突破口。 初学 Python,通过尝试抓取网页内容来当突破口。 目前的方法是: 从列表页获取页内所有的详情页地址; 从详情页地址中获取所有的图片
初学 Python,通过尝试抓取网页内容来当突破口。
目前的方法是:
从列表页获取页内所有的详情页地址;
从详情页地址中获取所有的图片地址,并以详情页 url 的最后一段作为文件夹的名称;
每个图片地址起一个线程,拿到图片内容并存下来,用 url 的最后一段作为文件名;
环境是 win10 + python3,用到的库主要是 PyQuery、requests,抓的是 lofter 的网页。
目前遇到的问题是:下载下来的图片很可能只有一半,上半截是图片,下半截是红蓝绿交替
尝试过每抓一张图片就 sleep2 秒钟,并没有效果。
想请问有啥办法判断图片是否下载完成么?我现在想到的一个办法是根据图片大小来判断,但是召回和准确难以兼顾。