多节点部署 1. 准备工作：部署 MongoDB 和 Redis 2. 部署主节点 3. 部署工作节点 4. 节点心跳信息 5. 其他问题 多节点部署 很多企业或个人爬虫管理用户都有在多个节点上跑爬虫任务的需求，也就是在分布式节点上管理爬虫。例如一个企业有多台服务器，需要在这些服务器集群上运行、监控、操作他们的爬虫，并集中统一查看和管理，这...

爬虫集成 爬虫集成 如果您想在 Crawlab 的界面上看到您的抓取结果，您需要将您的爬虫与 Crawlab 进行集成。 以下是爬虫集成的前提条件: 需要设置结果集 ； 需要将数据写在与 Crawlab 一个数据库中，例如 crawlab_test ； 需要在爬虫中将结果写回指定的数据集中（CRAWLAB_COLLECTION ），并且在 ta...

爬虫集成 爬虫集成 如果您想在 Crawlab 的界面上看到您的抓取结果，您需要将您的爬虫与 Crawlab 进行集成。 以下是爬虫集成的前提条件: 需要设置结果集 ； 需要将数据写在与 Crawlab 一个数据库中，例如 crawlab_test ； 需要在爬虫中将结果写回指定的数据集中（CRAWLAB_COLLECTION ），并且在 ta...

整体架构 主节点 工作节点 MongoDB Redis 前端 整体架构 Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库。 前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收...

整体架构 主节点 工作节点 MongoDB Redis 前端 整体架构 Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库。 前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收...

其他框架和语言 其他框架和语言 爬虫任务本质上是由一个shell命令来实现的。任务ID将以环境变量CRAWLAB_TASK_ID 的形式存在于爬虫任务运行的进程中，并以此来关联抓取数据。另外，CRAWLAB_COLLECTION 是Crawlab传过来的所存放collection的名称。 在爬虫程序中，需要将CRAWLAB_TASK_ID 的值以t...

任务结果 查看结果 下载结果 任务结果 查看结果 可以在 Crawlab 界面上查看任务结果，想看到结果的前提是需要将爬虫集成到 Crawlab。如何集成请查看 集成爬虫章节 。 查看结果位置在 任务详情 > 结果 标签。 下载结果 结果储存在数据库中之后，我们有时候需要将其导出，这时可以在界面中进行导出操作。 导航至 任务...

任务 任务 任务其实就是指某一次抓取任务或采集任务。任务与爬虫关联，其执行的也是爬虫指定的执行命令或采集规则。抓取或采集的结果与任务关联，因此可以查看到每一次任务的结果集。Crawlab的任务是整个采集流程的核心，抓取的过程都是跟任务关联起来的，因此任务对于Crawlab来说非常重要。任务被主节点 触发，工作节点 通过任务队列接收任务，然后在其所在节...

依赖安装 如何使用依赖安装 Docker 中预装编程语言 不足的地方 依赖安装 依赖安装是经常使用 Crawlab 经常需要的需求，目前的临时解决方案都是通过 hacking 的方式。而现在，我们的最新版本已经有比较成熟的解决方案，也就是在界面上操作安装依赖。 如何使用依赖安装 下面我们将介绍如何在 Crawlab 界面上使用依赖安装...

钉钉机器人 钉钉机器人 如果您想启用钉钉机器人消息通知，请确保您已经获取了机器人的 API Webhook 以及在 Crawlab 中配置好了 API Webhook。如何获取 API Webhook 请查看 官方文档 。官方文档可能有些过时了，如果有问题请加微信 tikazyq1 拉群寻求帮助。 ⚠️注意：钉钉机器人要求安全验证，建议在“自定义...