架构说明

架构说明

背景介绍

RASP 是一种新型应用安全防护技术。这种技术直接将防护引擎嵌入到应用内部，能够感知应用上下文。传统的防护设备，WAF、IDS等等，均是对HTTP请求进行分析和处理，并结合请求特征库进行匹配，能做的事情比较有限。

举个例子，当发生SQL注入攻击时，WAF和IDS只能看到HTTP请求。而RASP技术不但能看到完整的SQL语句，还可以和当前的HTTP请求进行关联，并结合语义引擎、用户输入识别等能力，实现对SQL注入的检测。

如果你还想了解更多，可以参考下面的内容

官方链接

这个版本使用 javaagent 机制来实现。在服务器启动时，可动态的修改Java字节码，对敏感操作的函数进行挂钩，比如:

数据库操作
文件读取、写入操作
命令执行
…
当服务器发生攻击，就会触发这些Hook点，此时RASP agent就可以获取到函数的参数，比如要读取的文件名、要执行的命令等等。

启动流程

启动时首先会进入 javaagent 的 premain 函数，该函数会在 main 函数之前预先执行，javaagent参考文档
当去 hook 像 java.io.File 这样由 BootstrapClassLoader 加载的类的时候，无法从该类调用非 BootstrapClassLoader 加载的类中的接口，所以 agent.jar 会先将自己添加到 BootstrapClassLoader 的ClassPath下，这样 hook 由 BootstrapClassLoader 加载的类的时候就能够成功调用到 agent.jar 中的检测入口
释放 log4j 日志配置文件，如果存在则跳过
根据 rasp.properties 文件初始化相应配置项
初始化 JS 插件模块
- JS 上下文类初始化
- 插件文件初始化
初始化字节码转换模块
- 给 load class 操作进行插桩操作，当类加载的时候会先进过 agent 进行处理
- 对于在初始化前已加载的类执行 retransform 处理，e.g FileInputStream
输出启动成功日志，开启全局 Hook 开关（启动阶段为关闭状态）
- 若启动过程中发生错误，记录错误日志
给 rasp.properties 配置文件和 js 插件目录以及 assets 目录增加文件监控，以便文件内容更改的时候不需要重启就能够实时生效

Hook Class 流程
因为启动时候进行了插桩操作，当有类被 ClassLoader 加载时候，所以会把该类的字节码先交给自定义的 Transformer 处理
自定义 Transformer 会判断该类是否为需要 hook 的类，如果是会将该类交给 javassist 字节码处理框架进行处理，javassist
javassist 框架会将类的字节码依照事件驱动模型逐步解析每个方法，当触发了我们需要 hook 的方法，我们会在方法的开头或者结尾插入进入检测函数的字节码
把 hook 好的字节码返回给 transformer 从而载入虚拟机
启动时架构如下图所示:

请求处理流程

我们以 tomcat + JDBC + MySQL 为例，简单说明下请求处理的流程

服务器收到一个请求，从而进入了服务器的请求 hook 点（该 hook 点每个服务器不一样，具体参照源码），该 hook 点标注当前线程为请求线程，开启当前线程的检测开关并把请求对象和响应对象进行缓存，以便后面使用
服务器发起SQL查询
进入 SQLStatementHook 点，我们挂钩了 execute、executeUpdate、executeQuery 等方法，从该方法进入检测流程如下：
- 判断当前线程是否为请求线程（第一步标记的），如果是继续下面检测
- 采集 connection_id（这个字段仅JDBC支持）、SQL 语句以及数据库类型等信息
- 构建参数信息，调用本地插件和 JS 插件进行安全检测，JS 插件由 Rhino 引擎执行，Rhino 引擎执行是 mozilla 为 java 提供的 JavaScript引擎，该引擎会将 JS 代码编译为 java 的 class 字节码在 JVM 中运行，Rhino 引擎文档
- 根据插件的执行结果决定是拦截请求、放行还是仅打印日志
进入 SQLResultSetHook 点，我们挂钩了 resultSet.next 方法
- 调用本地插件检查是否发生拖库行为，默认策略为一次查询结果超过500条就报警
若决定拦截攻击
- 输出报警日志到 logs/alarm.log
- 如果header还没有发出，默认使用 302 跳转到拦截页面
- 如果body还没有发出，则重置未发送的body
- 输出自定义拦截页面跳转js脚本
  - OpenRasp中JS引擎执行架构如下图所示：

基线检测

我们以 tomcat 启动为例，说明基线检测流程

进入了基线检测关键函数（tomcat 启动函数）
进入本地基线检测插件（注：基线检测不进入js插件检测），检测当前环境的关键参数（http-only是否开启，是否为root启动等）
根据检测结果决定是否拦截，不拦截的情况下只打印日志到 logs/policy_alarm.log
检测架构如下图所示:

PHP 版本

关于PHP扩展开发，可参考 Extending and Embedding PHP。

以 cli SAPI 为例，其单个请求生命周期如下图所示：

OpenRASP 核心原理为：在 MINIT 阶段，替换全局compiler_globals的function_table与class_table中特定 PHP_FUNCTION 对应的函数指针（封装原有handler，增加前置、后置处理），由此实现对敏感函数的挂钩。通过敏感函数参数结合请求信息判断是否存在攻击行为，进而采取拦截或者放行操作。

启动流程

OpenRASP 采用模块化的结构，按照初始化顺序，启动流程如下：

初始化OpenRASP所需全局变量
注册INI配置条目，通过ini配置文件初始化全局配置
日志模块，记录报警、插件、基线等日志，支持FILE/TCP/UDP
V8模块，JS运行环境，负责插件加载与结合运行时上下文的检测能力
HOOK模块，敏感PHP_FUNCTION挂钩执行检测及检测结果处理
INJECT模块，针对特定URL,修改响应内容，注入HTML
安全基线检查模块，检查敏感ini配置项
文件监控模块，监控插件目录，实现运行时检测逻辑修改
下面针对几个主要的模块进行针对性说明：

日志模块

日志模块启动流程如下：

初始化日志模块所需全局变量
申请共享内存（针对特定SAPI），用于部分日志的进/线程间同步
获取本机网卡以及主机信息，用于基线日志记录
V8模块

我们将 V8 嵌入到 OpenRASP 中作为 JavaScript 插件的执行引擎

MINIT 阶段载入所有插件，生成一份 V8 Startup Snapshot
请求处理线程第一次触发检测时，使用 V8 Startup Snapshot 还原此线程独享的 V8 Isolate
每个请求线程在对应的 V8 Isolate 环境上执行检测逻辑
执行检测逻辑前向 V8 Platform 添加超时监控后台任务，超时后中断检测
GSHUTDOWN 阶段销毁线程对应 V8 Isolate
HOOK模块

HOOK流程包含两类：compiler_globals的handler替换和用户自定义opcode_handler，启动流程如下

在全局compiler_globals对应的hashtable(function_table和class_table)中查找非禁用函数对应zend_function
封装原有handler，根据需求增加前置、后置处理
针对指定opcode（如ZEND_INCLUDE_OR_EVAL）通过zend_set_user_opcode_handler自定义处理逻辑
文件监控模块

我们使用经过我们优化增强的 libfswatch 实现了跨平台的文件监控

MINIT 阶段初始化 fswatch 实例，并开启后台线程进行目标文件目录监控
目标文件目录发生变化时，根据类型，向支持重载的 SAPI 主线程发送重载信号
MSHUTDOWN 阶段停止目标文件目录监控，销毁 fswatch 实例和后台线程
请求处理流程

以PHP(mysqli) + MySQL为例，简要说明请求处理的流程，即 RINIT - RSHUTDOWN 阶段：

为新请求计算唯一的request-id，设置response header
初始化不同logger，收集日志相关请求信息
连接数据库，触发 mysqli_connect HOOK点：enforce_policy为1时，若用高权限用户连接数据库，记录基线日志，中断当前请求；enforce_policy为0时，仅当成功连接数据库后检查是否为高权限用户，若是记录日基线志，并将连接信息存入共享内存防止其他进/线程重复报警
数据库语句检测，即mysqli_query HOOK点pre检测，收集查询参数调用V8模块执行检测，具体流程如下：
- (待添加)
慢查询检测。即mysqli_query HOOK点post检测，通过 call_user_function 检测查询结果数目，超过 openrasp.slowquery_min_rows 配置项则报警
RSHUTDOWN阶段：释放请求相关资源，根据 openrasp.inject_urlprefix 配置判断是否注入用户自定义HTML