知识点

  • 官方架构图

知识点 - 图1

Scrapy主要包括了以下组件:

五个功能模块

  • 引擎(Scrapy): 用来处理整个系统的数据流处理, 数据流的指挥官,负责控制数据流(控制各个模块之间的通信)
  • 调度器(Scheduler): 负责引擎发过来的请求URL,压入队列成一个URL的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
  • 下载器(Downloader): 用于下载网页内容, 并将网页内容返回给引擎Scrapy
  • 爬虫(Spiders): 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
  • 项目管道(item Pipeline): 负责处理爬虫从网页中抽取的实体,主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后,将被发送到项目管道,并经过几个特定的次序处理数据。

三大中间件

  • 下载器中间件(Downloader Middlewares): 位于Scrapy引擎和下载器之间的框架,主要是处理Scrapy引擎与下载器之间的请求及响应。
  • 爬虫中间件(Spider Middlewares): 介于Scrapy引擎和爬虫之间的框架,主要工作是处理蜘蛛的响应输入和请求输出。
  • 调度中间件(Scheduler Middewares): 介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应。

Spider参数

Spider可以通过接受参数来修改其功能。

spider参数一般用来定义初始URL或者指定限制爬取网站的部分。 您也可以使用其来配置spider的任何功能。

在运行 crawl 时添加 -a 可以传递Spider参数:

  1. scrapy crawl myspider -a category=electronics

Spider在构造器(constructor)中获取参数:

  1. import scrapy
  2. class MySpider(Spider):
  3. name = 'myspider'
  4. def __init__(self, category=None, *args, **kwargs):
  5. super(MySpider, self).__init__(*args, **kwargs)
  6. self.start_urls = ['http://www.example.com/categories/%s' % category]