Java Agent

JDK1.5开始，Java新增了Instrumentation(Java Agent API)和JVMTI(JVM Tool Interface)功能，允许JVM在加载某个class文件之前对其字节码进行修改，同时也支持对已加载的class(类字节码)进行重新加载(Retransform)。

利用Java Agent这一特性衍生出了APM(Application Performance Management，应用性能管理)、RASP(Runtime application self-protection，运行时应用自我保护)、IAST(Interactive Application Security Testing，交互式应用程序安全测试)等相关产品，它们都无一例外的使用了Instrumentation/JVMTI的API来实现动态修改Java类字节码并插入监控或检测代码。

Java Agent有两种运行模式：

  1. 启动Java程序时添加-javaagent(Instrumentation API实现方式)或-agentpath/-agentlib(JVMTI的实现方式)参数，如java -javaagent:/data/XXX.jar LingXeTest。
  2. JDK1.6新增了attach(附加方式)方式，可以对运行中的Java进程附加Agent。

这两种运行方式的最大区别在于第一种方式只能在程序启动时指定Agent文件，而attach方式可以在Java程序运行后根据进程ID动态注入Agent到JVM。

Java Agent Hello World

让我们来运行一个Java的HelloWorld程序。

HelloWorld示例代码：

  1. package com.anbai.sec.agent;
  3. /**
  4.  * Creator: yz
  5.  * Date: 2020/1/2
  6.  */
  7. public class HelloWorld {
  9.    public static void main(String[] args) {
  10.       System.out.println("Hello World...");
  11.    }
  13. }

程序运行结果：

  1. Hello World...

假设我们现在有一个需求：必须在不重新编译某个类的情况下(甚至有可能是不重启应用服务的情况下)动态的改变类方法的执行逻辑是非常困难的，但如果使用Agent的Instrumentation API就可以非常容易的实现了，例如将下列程序(HelloWorld.java)的输出变成Hello Agent...。

首先我们需要修改：javaweb-sec/javaweb-sec-source/javasec-agent/src/main/resources/MANIFEST.MF文件中的Premain-Class配置为com.anbai.sec.agent.JavaSecHelloWorldAgent，然后再执行如下命令使用Maven构建Agent Jar包：

  1. cd javaweb-sec/javaweb-sec-source/javasec-agent
  2. mvn clean install

Maven构建完成后在javaweb-sec/javaweb-sec-source/javasec-agent/target目录会自动生成一个javasec-agent.jar文件，这个文件也就是我们写好的用于处理HelloWorld程序输出结果的Java Agent程序。

JavaSecHelloWorldAgent动态替换HelloWorld字符串示例代码：

  1. /*
  2.  * 灵蜥Java Agent版 [Web应用安全智能防护系统]
  3.  * ----------------------------------------------------------------------
  4.  * Copyright © 安百科技（北京）有限公司
  5.  */
  6. package com.anbai.sec.agent;
  8. import java.lang.instrument.ClassFileTransformer;
  9. import java.lang.instrument.Instrumentation;
  10. import java.security.ProtectionDomain;
  11. import java.util.Arrays;
  13. /**
  14.  * Creator: yz
  15.  * Date: 2020/1/2
  16.  */
  17. public class JavaSecHelloWorldAgent {
  19.     /**
  20.      * 替换HelloWorld的输出字符串为"Hello Agent..."，将二进制转换成字符串数组，替换字符串数组并生成新的二进制
  21.      *
  22.      * @param className   类名
  23.      * @param classBuffer 类字节码
  24.      * @return 替换后的类字节码
  25.      */
  26.     private static byte[] replaceBytes(String className, byte[] classBuffer) {
  27.         // 将类字节码转换成byte字符串
  28.         String bufferStr = Arrays.toString(classBuffer);
  29.         System.out.println(className + "类替换前的字节码:" + bufferStr);
  31.         bufferStr = bufferStr.replace("[", "").replace("]", "");
  33.         // 查找需要替换的Java二进制内容
  34.         byte[] findBytes = "Hello World...".getBytes();
  36.         // 把搜索的字符串byte转换成byte字符串
  37.         String findStr = Arrays.toString(findBytes).replace("[", "").replace("]", "");
  39.         // 二进制替换后的byte值，注意这个值需要和替换的字符串长度一致，不然会破坏常量池
  40.         byte[] replaceBytes = "Hello Agent...".getBytes();
  42.         // 把替换的字符串byte转换成byte字符串
  43.         String replaceStr = Arrays.toString(replaceBytes).replace("[", "").replace("]", "");
  45.         bufferStr = bufferStr.replace(findStr, replaceStr);
  47.         // 切割替换后的byte字符串
  48.         String[] byteArray = bufferStr.split("\\s*,\\s*");
  50.         // 创建新的byte数组，存储替换后的二进制
  51.         byte[] bytes = new byte[byteArray.length];
  53.         // 将byte字符串转换成byte
  54.         for (int i = 0; i < byteArray.length; i++) {
  55.             bytes[i] = Byte.parseByte(byteArray[i]);
  56.         }
  58.         System.out.println(className + "类替换后的字节码:" + Arrays.toString(bytes));
  60.         // 返回修改后的二进制
  61.         return bytes;
  62.     }
  64.     /**
  65.      * Java Agent模式入口
  66.      *
  67.      * @param args 命令参数
  68.      * @param inst Agent Instrumentation 实例
  69.      */
  70.     public static void premain(String args, final Instrumentation inst) {
  71.         // 添加自定义的Transformer
  72.         inst.addTransformer(new ClassFileTransformer() {
  74.             /**
  75.              * 类文件转换方法，重写transform方法可获取到待加载的类相关信息
  76.              *
  77.              * @param loader              定义要转换的类加载器；如果是引导加载器，则为 null
  78.              * @param className           类名,如:java/lang/Runtime
  79.              * @param classBeingRedefined 如果是被重定义或重转换触发，则为重定义或重转换的类；如果是类加载，则为 null
  80.              * @param protectionDomain    要定义或重定义的类的保护域
  81.              * @param classfileBuffer     类文件格式的输入字节缓冲区（不得修改）
  82.              * @return 返回一个通过ASM修改后添加了防御代码的字节码byte数组。
  83.              */
  84.             @Override
  85.             public byte[] transform(ClassLoader loader, String className, Class<?> classBeingRedefined,
  86.                                     ProtectionDomain protectionDomain, byte[] classfileBuffer) {
  88.                 // 将目录路径替换成Java类名
  89.                 className = className.replace("/", ".");
  91.                 // 只处理com.anbai.sec.agent.HelloWorld类的字节码
  92.                 if (className.equals("com.anbai.sec.agent.HelloWorld")) {
  93.                     // 替换HelloWorld的输出字符串
  94.                     return replaceBytes(className, classfileBuffer);
  95.                 }
  97.                 return classfileBuffer;
  98.             }
  99.         }, true);// 第二个参数true表示是否允许Agent Retransform，需配合MANIFEST.MF中的Can-Retransform-Classes: true配置
  100.     }
  102. }

我们需要在运行HelloWorld的时候添加-javaagent:jar路径参数，例如：

  1. java -jar -javaagent:/Users/yz/IdeaProjects/javaweb-sec/javaweb-sec-source/javasec-agent/target/javasec-agent.jar com.anbai.sec.agent.HelloWorld

程序执行结果：

  1. com.anbai.sec.agent.HelloWorld类替换前的字节码:[....省去两则一致的数据, 87, 111, 114, 108, 100, ...]
  2. com.anbai.sec.agent.HelloWorld类替换后的字节码:[....省去两则一致的数据, 65, 103, 101, 110, 116, ...]
  3. Hello Agent...

由上可以看到程序的最终执行结果已经被我们动态的修改为了：Hello Agent...，这种方式是最为简单暴力的修改二进制中的字符串值的方式在实际的业务场景下很显然是不可行的，因为只要修改后的字符串长度不一致就会破坏常量池导致程序无法执行，为了能够精准有效的修改类字节码我们通常会使用ASM库。

Instrumentation

java.lang.instrument.Instrumentation是Java提供的监测运行在JVM程序的API。利用Instrumentation我们可以实现如下功能：

  1. 动态添加自定义的Transformer(addTransformer)。
  2. 动态修改classpath(appendToBootstrapClassLoaderSearch、appendToSystemClassLoaderSearch)。
  3. 动态获取所有JVM已加载的类(getAllLoadedClasses)。
  4. 动态获取某个类加载器已实例化的所有类(getInitiatedClasses)。
  5. 直接修改已加载的类的字节码(redefineClasses)。
  6. 动态设置JNI前缀(setNativeMethodPrefix)。
  7. 重加载指定类字节码(retransformClasses)。

Instrumentation类方法如下：

07EC4F97-CD49-41E6-95CE-FEB000325E33

ClassFileTransformer

java.lang.instrument.ClassFileTransformer是一个转换类文件的代理接口，我们可以在获取到Instrumentation对象后通过addTransformer方法添加自定义类文件转换器。

示例中我们使用了addTransformer注册了一个我们自定义的Transformer到Java Agent，当有新的类被JVM加载时JVM会自动回调用我们自定义的Transformer类的transform方法，传入该类的transform信息(类名、类加载器、类字节码等)，我们可以根据传入的类信息决定是否需要修改类字节码，修改完字节码后我们将新的类字节码返回给JVM，JVM会验证类和相应的修改是否合法，如果符合类加载要求JVM会加载我们修改后的类字节码。

ClassFileTransformer类代码：

  1. package java.lang.instrument;
  3. public interface ClassFileTransformer {
  5.   /**
  6.      * 类文件转换方法，重写transform方法可获取到待加载的类相关信息
  7.      *
  8.      * @param loader              定义要转换的类加载器；如果是引导加载器，则为 null
  9.      * @param className           类名,如:java/lang/Runtime
  10.      * @param classBeingRedefined 如果是被重定义或重转换触发，则为重定义或重转换的类；如果是类加载，则为 null
  11.      * @param protectionDomain    要定义或重定义的类的保护域
  12.      * @param classfileBuffer     类文件格式的输入字节缓冲区（不得修改）
  13.      * @return 返回一个通过ASM修改后添加了防御代码的字节码byte数组。
  14.      */
  15.     byte[] transform(ClassLoader loader, String className, Class<?> classBeingRedefined,
  16.                             ProtectionDomain protectionDomain, byte[] classfileBuffer);
  18. }

重写transform方法需要注意以下事项：

  1. ClassLoader如果是被Bootstrap ClassLoader(引导类加载器)所加载那么loader参数的值是空。
  2. 修改类字节码时需要特别注意插入的代码在对应的ClassLoader中可以正确的获取到，否则会报ClassNotFoundException，比如修改java.io.FileInputStream(该类由Bootstrap ClassLoader加载)时插入了我们检测代码，那么我们将必须保证FileInputStream能够获取到我们的检测代码类。
  3. JVM类名的书写方式路径方式：java/lang/String而不是我们常用的类名方式：java.lang.String。
  4. 类字节必须符合JVM校验要求，如果无法验证类字节码会导致JVM崩溃或者VerifyError(类验证错误)。
  5. 如果修改的是retransform类(修改已被JVM加载的类)，修改后的类字节码不得新增方法、修改方法参数、类成员变量。
  6. addTransformer时如果没有传入retransform参数(默认是false)就算MANIFEST.MF中配置了Can-Redefine-Classes: true而且手动调用了retransformClasses方法也一样无法retransform。
  7. 卸载transform时需要使用创建时的Instrumentation实例。