Architecture overview Overview Data flow Components Scrapy Engine Scheduler Downloader Spiders Item Pipeline Downloader middlewares Spider middlewares Event-driven networ...

url encode decode parameter parameterMap url encode 参数名 描述 可否为空 url 要编码的url 否 charset 编码格式,默认UTF-8 是 TIP 返回值类型：String 编码https://www.baidu.com $ { url . encode (...

url encode decode parameter parameterMap url encode 参数名 描述 可否为空 url 要编码的url 否 charset 编码格式,默认UTF-8 是 TIP 返回值类型：String 编码https://www.baidu.com $ { url . ...

开发指南 开发指南 新建一个maven项目 引入spider-flow-api <dependency> <groupId> org.spiderflow </groupId> <artifactId> spider-flow-api </artifactId> <version> 0.0.1 <...

redis 引入Redis插件 定义Redis数据源 开始使用 redis 引入Redis插件 首先到码云下载插件点击下载 到本地并导入到工作空间或安装到maven库 在spider-flow/spider-flow-web/pom.xml中引入插件 <!-- 引入redis插件 --> <dependency> ...

架构概览 概述 组件 Scrapy Engine 调度器(Scheduler) 下载器(Downloader) Spiders Item Pipeline 下载器中间件(Downloader middlewares) Spider中间件(Spider middlewares) 数据流(Data flow) 事件驱动网络(Event-dri...

mongodb 引入Mongdob插件 定义Mongodb数据源 开始使用 mongodb 引入Mongdob插件 首先到码云下载插件点击下载 到本地并导入到工作空间或安装到maven库 在spider-flow/spider-flow-web/pom.xml中引入插件 <!-- 引入mongodb插件 --> <dependenc...

redis 引入Redis插件 定义Redis数据源 开始使用 redis 引入Redis插件 首先到码云下载插件点击下载 到本地并导入到工作空间或安装到maven库 在spider-flow/spider-flow-web/pom.xml中引入插件 <!-- 引入redis插件 --> <dependency> <g...

selenium 引入selenium插件 节点说明 SeleniumResponse 属性 SeleniumResponse 方法 selector selectors xpath xpaths executeScript quit toUrl WebElement 方法 html text attr selector sel...

简介 特性 插件 参与贡献 简介 spider-flow 是一个爬虫平台，以图形化方式定义爬虫流程，无需代码即可实现一个爬虫 特性 支持css选择器、正则提取 支持JSON/XML格式 支持Xpath/JsonPath提取 支持多数据源、SQL select/insert/update/delete 支持爬取JS动态渲染的页面 支持代理...