使用lxml解析HTML网页并批量获取数据

当我们需要从网页中获取一些需要的数据时，我们可以使用一些html网页分析的函数库来快速的获取数据。目前有多款解析HTML网页的第三方库可供使用，例如lxml，beautiful soup等等。下面以lxml为例从网页中爬取我们需要的统计数据

我希望从北京公交网站获取北京公交的所有线路信息，从而为后续处理做准备

首先引用requests用于向网页发出访问请求，获取html网页原始数据

import requests

再引用lxml中的etree类

import lxml.etree

首先输入我们起始的爬取地址，公交线路网页的索引页，以此为起点，获取所有的线路对应的url的值

lxml.etree将html网页按照标签进行一层一层的划分，形成逐渐向下生长的树结构，我们通过查看网页的源代码找到我们想要的数据在哪个标签内，使用xpath函数提取对应标签内的数据

def get_all_line():
    url = ‘http://beijing.gongjiao.com/lines_all.html‘
    text = requests.get(url).text
    doc = lxml.etree.HTML(text)
    all_lines = doc.xpath("//div[@class=‘list‘]/ul/li")
    f=open("./data/"+‘allline.txt‘,‘a‘)
    print(len(all_lines))
    for line in all_lines:
        line_name = line.xpath("./a/text()")[0].strip()
       　line_url = line.xpath("./a/@href")[0]
       　f.write(line_name+‘$$‘+line_url+‘\n‘)
   　f.close()

这样我们获得了所有线路对应的url，在此基础上再依次爬取每一个线路网页的相关数据

在爬取线路数据之前，我们需要先建立字典用于保存不同字段的数据，便于管理。根据需要，我建立了一个13个字段的字典

df_dict = {
‘line_name‘: [], ‘line_url‘: [], ‘line_start‘: [], ‘line_stop‘: [],
‘line_op_time‘: [], ‘line_interval‘: [], ‘line_price‘: [], ‘line_company‘: [],
‘line_up_times‘: [], ‘line_station_up‘: [], ‘line_station_up_len‘: [],
‘line_station_down‘: [], ‘line_station_down_len‘: [] 
}

 

从我们刚刚生成的url数据文件中读取所有的url，以下是对于读取线路数据的函数实现

def getbuslin(line):
    line_name = line[:line.find(‘$$‘)]
    line_url = line[line.find(‘$$‘)+2:]
    #print(line_url) 
    url = line_url
    text = requests.get(url).text
    #print(len(text))
    doc = lxml.etree.HTML(text)
    infos = doc.xpath("//div[@class=‘gj01_line_header clearfix‘]")
    for info in infos:
        #f=open("./data/"+line_name+‘.txt‘,‘a‘)
        start_stop = info.xpath("./dl/dt/a/text()")
        #f.write(‘start-stop‘+start_stop+‘\n‘)
        op_times = info.xpath("./dl/dd[1]/b/text()")
        #f.write(‘open time:‘+op_times+‘\n‘)
        interval = info.xpath("./dl/dd[2]/text()")
        #f.write(‘interval:‘+interval+‘\n‘)
        price = info.xpath("./dl/dd[3]/text()")
        #f.write(‘price:‘+price+‘\n‘)
        company = info.xpath("./dl/dd[4]/text()")
        #f.write(‘company:‘+company+‘\n‘)
        up_times = info.xpath("./dl/dd[5]/text()")

        all_stations_up = doc.xpath(‘//ul[@class="gj01_line_img JS-up clearfix"]‘)
        for station in all_stations_up:
            station_up_name = station.xpath(‘./li/a/text()‘)
            df_dict[‘line_station_up‘].append(station_up_name)
            df_dict[‘line_station_up_len‘].append(len(station_up_name))
            #f.write(station_name+‘\n‘)
        
        all_stations_down = doc.xpath(‘//ul[@class="gj01_line_img JS-down clearfix"]‘)
        if len(all_stations_down)== 0:
            #print(line_name)
            df_dict[‘line_station_down‘].append(‘‘)
            df_dict[‘line_station_down_len‘].append(0)

        for station in all_stations_down: 
            station_down_name=station.xpath(‘./li/a/text()‘)
            df_dict[‘line_station_down‘].append(station_down_name)
            df_dict[‘line_station_down_len‘].append(len(station_down_name))
            #f.write(station_name+‘\n‘)
        #f.close()
        df_dict[‘line_name‘].append(line_name)
        df_dict[‘line_url‘].append(line_url)
        df_dict[‘line_start‘].append(start_stop[0])
        df_dict[‘line_stop‘].append(start_stop[1])
        if len(op_times)==0:
            op_times.append(defaultoptime)
        df_dict[‘line_op_time‘].append(op_times[0])
        df_dict[‘line_interval‘].append(interval[0][5:])
        df_dict[‘line_company‘].append(company[0][5:])
        df_dict[‘line_price‘].append(price[0][5:])
        df_dict[‘line_up_times‘].append(up_times[0][5:])

字典的实质依然是列表，因此对字典的操作方法可以参考列表

我从网页中提取了公交线路的线路名称，起始站，终点站，运营时间，发车间隔，票价，起始终点站，上下行所有站点

将数据全部存入建立的字典之后，保存为csv文件，这里需要用到pandas库

import pandas as pd

df = pd.DataFrame(df_dict)
df.to_csv(name+‘.csv‘, encoding=‘utf-8‘, index=None)

这时，我们已经把网页数据经过解析保存到了本地，以便后续的处理

由于公交车的线路数据相对静态，因此不需要进行实时更新，数据量也相对较小，但是整个程序运行下来依然需要好几分钟

这里我还没有采用多进程处理，后续可以通过多进程优化来充分利用计算机的性能缩短所需的时间