爬虫部署 MongoDB GridFS 爬虫部署 之前已经在部署爬虫 中介绍了，爬虫是自动部署在工作节点上的。下面的示意图展示了Crawlab爬虫部署的架构。 如上图所示，整个爬虫自动部署的生命周期如下(源码在services/spider.go#InitSpiderService )： 主节点每5秒，会从爬虫的目录获取爬虫信息，然后更新...

使用 Product Consume 客户端 自定义通信队列

Scrapy 爬虫 开启 Scrapy 设置 爬虫 Items Pipelines Scrapy 爬虫 Scrapy 是一个非常受欢迎的支持异步抓取的高性能爬虫框架。在用户调研中，超过一半的爬虫开发工程师选择了 Python，而 Scrapy 正是一个 Python 爬虫框架，非常受爬虫工程师的欢迎。 Crawlab 开发了一套针对 Sc...

运行爬虫 手动触发 运行类型 参数 定时任务触发 运行爬虫 Crawlab有两种运行爬虫的方式： 手动触发 定时任务触发 手动触发 在 爬虫列表 中 操作 列点击 运行 按钮并确认，或者 在 爬虫详情 中 概览 标签下点击 运行 按钮并确认，或者 如果是 可配置爬虫 ，还可以在 配置 标签下点击 运行 按钮并确认...

部署爬虫 部署爬虫 Crawlab是自动部署爬虫的，每60秒主节点会将该节点上的爬虫文件同步给所有在线节点。因此，用户上传了爬虫之后，只需要等待最多60秒，就可以在所有节点上运行爬虫任务了。 爬虫部署和同步原理请参考 原理-爬虫部署章节 。

创建爬虫 创建爬虫 Crawlab允许用户创建两种爬虫（很可惜，由于没有时间开发，可配置爬虫还没有加入到Golang版本中）： 自定义爬虫 可配置爬虫

其他框架和语言 Java 其他框架和语言 爬虫任务本质上是由一个shell命令来实现的。任务ID将以环境变量CRAWLAB_TASK_ID 的形式存在于爬虫任务运行的进程中，并以此来关联抓取数据。另外，CRAWLAB_COLLECTION 是Crawlab传过来的所存放collection的名称。 在爬虫程序中，需要将CRAWLAB_TASK_I...

爬虫部署 MongoDB GridFS 爬虫部署 之前已经在部署爬虫 中介绍了，爬虫是自动部署在工作节点上的。下面的示意图展示了Crawlab爬虫部署的架构。 如上图所示，整个爬虫自动部署的生命周期如下(源码在services/spider.go#InitSpiderService )： 主节点每5秒，会从爬虫的目录获取爬虫信息，然后更新...

Scrapy 爬虫 开启 Scrapy 设置 爬虫 Items Pipelines Scrapy 爬虫 Scrapy 是一个非常受欢迎的支持异步抓取的高性能爬虫框架。在用户调研中，超过一半的爬虫开发工程师选择了 Python，而 Scrapy 正是一个 Python 爬虫框架，非常受爬虫工程师的欢迎。 Crawlab 开发了一套针对 Sc...

其他框架和语言 其他框架和语言 爬虫任务本质上是由一个shell命令来实现的。任务ID将以环境变量CRAWLAB_TASK_ID 的形式存在于爬虫任务运行的进程中，并以此来关联抓取数据。另外，CRAWLAB_COLLECTION 是Crawlab传过来的所存放collection的名称。 在爬虫程序中，需要将CRAWLAB_TASK_ID 的值以t...