CLI 命令行工具 安装 CLI 命令行工具 登录获取 Token 上传爬虫 查看节点列表 查看爬虫列表 查看任务列表 查看定时任务列表 其他功能 CLI 命令行工具 CLI 命令行工具是一个实验项目，是 Crawlab SDK 项目的一部分。CLI 命令行工具旨在帮助 Crawlab 用户更方便的上传爬虫、运行任务、查看数据等。 ...

开发模式 1. 拉取代码 2. 安装 Node 环境 3. 安装前后端 4. MongoDB & Redis 5. 配置 6. 启动前端 7. 启动后端 8. 开发 Crawlab # 开发模式 开发模式可以让开发者很快的预览源码的输出效果，即时更改代码就可以看到修改后的程序运行情况。开发模式是针对希望在 Crawlab 的源码基础...

Docker 安装部署 1. 安装 Docker 1.1 Windows & Mac Linux 1.2 下载镜像 1.3 Docker 常用命令 2. 安装 Docker-Compose 3. 安装并启动 Crawlab 4. 更新/重启 Crawlab 5. 下一步 Docker 安装部署 这应该是部署应用的最方便也是最节省时间...

Python SDK CLI 命令行工具 Utility 工具 Scrapy 集成 通用 Python 爬虫集成 Python SDK Crawlab 的 Python SDK 主要由 2 部分构成: CLI 命令行工具 Utility 工具 CLI 命令行工具 CLI 命令行工具主要是为比较习惯用命令行的开发者设计的，他们可以...

API API 验证 API 文档 API Crawlab 是前后端分离架构（B/S），前端是通过访问 API 的形式来与后端交互的，因此理论上外部系统可以直接通过 API 来访问以及操作 Crawlab。很多企业有自己的管理系统，希望通过某种方式集成 Crawlab 作为爬虫管理系统，因此 Crawlab 开发组开放了 Crawlab 的 AP...

Python SDK CLI 命令行工具 Utility 工具 Scrapy 集成 通用 Python 爬虫集成 Python SDK Crawlab 的 Python SDK 主要由 2 部分构成: CLI 命令行工具 Utility 工具 CLI 命令行工具 CLI 命令行工具主要是为比较习惯用命令行的开发者设计的，他们可以...

自动安装依赖 自动安装依赖 对于 Docker 安装 Crawlab 的开发者来说，每次更新容器（例如 down & up）时候会比较繁琐，因为需要重新安装爬虫的依赖，这对于长期使用 Crawlab 的用户来说，是一个痛点。 为了解决开发者的痛点，Crawlab 开发组开发了自动安装依赖的功能。 为了使用自动安装依赖的功能，用户需要将在爬虫项目中...

快速开始 快速开始 本小节将介绍如何快速体验 Crawlab 项目。 git clone https :// github . com / crawlab - team / crawlab cd crawlab docker - compose up - d 这就可以了。然后在浏览器中输入 http://localhost:808...

多节点部署 1. 准备工作：部署 MongoDB 和 Redis 2. 部署主节点 3. 部署工作节点 4. 节点心跳信息 5. 其他问题 多节点部署 很多企业或个人爬虫管理用户都有在多个节点上跑爬虫任务的需求，也就是在分布式节点上管理爬虫。例如一个企业有多台服务器，需要在这些服务器集群上运行、监控、操作他们的爬虫，并集中统一查看和管理，这...

CLI 命令行工具 安装 CLI 命令行工具 登录获取 Token 上传爬虫 查看节点列表 查看爬虫列表 查看任务列表 查看定时任务列表 其他功能 CLI 命令行工具 CLI 命令行工具是一个非常实用的 CLI 程序，是 Crawlab SDK 项目的一部分。CLI 命令行工具旨在帮助 Crawlab 用户更方便的上传爬虫、运行任务...