Scrapy框架之项目搭建

Scrapy

• Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。

• 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。

• Scrapy 使用了 Twisted,其主要对手是Tornado,异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

 ​安装创建(windows)​

1.pip install pypiwin32

2.pip install Scrapy (安装Scrapy框架)

 注意:windows下可能需要手动安装twisted模块   如.whl： Twisted‑18.4.0‑cp35‑cp35m‑win_amd64.whl

下载地址: https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted   (下载完成以后使用 pip install 安装就可以)

以上内容完成以后就可以创建项目了

新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目(在想要创建项目的文件夹打开cmd执行新建项目命名

以下为建完项目的目录:

 

文件说明：

• scrapy.cfg  项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）
• items.py    设置数据存储模板，用于结构化数据，如：Django的Model
• pipelines    数据处理行为，如：一般结构化的数据持久化
• settings.py 配置文件，如：递归的层数、并发数，延迟下载等
• spiders      爬虫目录，如：创建文件，编写爬虫规则

编写简单爬虫

以爬取百度为例:

在spiders文件夹下创建一个.py文件（文件名最好以爬取的网站为名）

以下为建完项目的目录:

 

代码如下:

import scrapy

class BaiduSpider(scrapy.Spider):
name = 'baidu' # 爬虫名称
allowed_domains = ['baidu.com'] # 爬虫有效域
start_urls = ['http://www.baidu.com/'] # 爬虫起始url start_url是固定属性名

# 解析函数
def parse(self, response):
# 获取响应内容
print(type(response.body))
# 文件编码必须指定
with open('baidu.html' ,'w',encoding='utf-8') as f:
#写入文件
f.write(response.body.decode('utf-8'))

以上就完成了一个简单的爬虫功能

运行爬虫： scrapy crawl baidu (爬虫名称是创建.py爬虫文件里属性name的值,我这里是baidu)

此处应该会失败。因为每个网站都有一个robots.txt，表示网站不允许爬的网站目录。scrapy框架遵守该协议。所以需要修改Scrapy框架的配置文件

在项目目录下的 settings.py 修改一下内容：

• ROBOTSTXT_OBEY = False # 默认是True
• 命令行下重新执行 scrapy crawl baidu