任务执行 任务执行 Crawlab的任务执行依赖于shell。执行一个爬虫任务相当于在shell中执行相应的命令，因此在执行爬虫任务之前，要求使用者将执行命令存入数据库。执行命令存在spiders 表中的cmd 字段。 任务执行的架构示意图如下。 当爬虫任务被派发时，主节点会在Redis中的tasks:<node_id> （指定工作节点）和t...

任务执行 任务执行 Crawlab的任务执行依赖于shell。执行一个爬虫任务相当于在shell中执行相应的命令，因此在执行爬虫任务之前，要求使用者将执行命令存入数据库。执行命令存在spiders 表中的cmd 字段。 任务执行的架构示意图如下。 当爬虫任务被派发时，主节点会在Redis中的tasks:<node_id> （指定工作节点）和t...

可配置爬虫 如何添加可配置爬虫 概念 如何配置 阶段 流程 设置 Spiderfile 可配置爬虫 可配置爬虫是版本v0.4.0 开发的功能。目的是将具有相似网站结构的爬虫项目可配置化，将开发爬虫的过程流程化，大大提高爬虫开发效率。 Crawlab 的可配置爬虫是基于 Scrapy 的，因此天生支持并发。而且，可配置爬虫完全支持自定义...

可配置爬虫 如何添加可配置爬虫 概念 如何配置 阶段 流程 设置 Spiderfile 可配置爬虫 可配置爬虫是版本v0.4.0 开发的功能。目的是将具有相似网站结构的爬虫项目可配置化，将开发爬虫的过程流程化，大大提高爬虫开发效率。 Crawlab 的可配置爬虫是基于 Scrapy 的，因此天生支持并发。而且，可配置爬虫完全支持自定义...