79. 避免过度同步

  第 78 条告诫过我们缺少同步的危险性。本条目则关注相反的问题。依据情况的不同,过度同步则可能导致性能降低、死锁,甚至不确定的行为。

  为了避免活性失败和安全性失败,在一个被同步的方法或者代码块中,永远不要放弃对客户端的控制。 换句话说,在一个被同步的区域内部,不要调用设计成要被覆盖的方法,或者是由客户端以函数对象的形式提供的方法(详见第 24 条) 。从包含该同步区域的类的角度来看,这样的方法是外来的( alien ) 。这个类不知道该方法会做什么事情,也无法控制它。根据外来方法的作用,从同步区域中调用它会导致异常、死锁或者数据损坏。

  为了对这个过程进行更具体的说明,以下面的类为例,它实现了一个可以观察到的集合包装( set wrapper ) 。该类允许客户端在将元素添加到集合中时预订通知。这就是观察者(Observer )模式[Gamma95 ] 。为了简洁起见,类在从集合中删除元素时没有提供通知,但要提供通知也是一件很容易的事情。这个类是在第 18 条中可重用的 ForwardingSet 上实现的:

  1. // Broken - invokes alien method from synchronized block!
  2. public class ObservableSet<E> extends ForwardingSet<E> {
  3. public ObservableSet(Set<E> set) { super(set); }
  4. private final List<SetObserver<E>> observers= new ArrayList<>();
  5. public void addObserver(SetObserver<E> observer) {
  6. synchronized(observers) {
  7. observers.add(observer);
  8. }
  9. }
  10. public Boolean removeObserver(SetObserver<E> observer) {
  11. synchronized(observers) {
  12. return observers.remove(observer);
  13. }
  14. }
  15. private void notifyElementAdded(E element) {
  16. synchronized(observers) {
  17. for (SetObserver<E> observer : observers)
  18. observer.added(this, element);
  19. }
  20. }
  21. @Override
  22. public Boolean add(E element) {
  23. Boolean added = super.add(element);
  24. if (added)
  25. notifyElementAdded(element);
  26. return added;
  27. }
  28. @Override
  29. public Boolean addAll(Collection<? extends E> c) {
  30. Boolean result = false;
  31. for (E element : c)
  32. result |= add(element);
  33. // Calls notifyElementAdded
  34. return result;
  35. }
  36. }

  观察者通过调用 addObserver 方法预订通知,通过调用 removeObserver 方法取消预订。在这两种情况下,这个回调( callback )接口的实例都会被传递给方法:

  1. @FunctionalInterface
  2. public interface SetObserver<E> {
  3. // Invoked when an element is added to the observable set
  4. void added(ObservableSet<E> set, E element);
  5. }

  这个接口的结构与 BiConsumer<Obser vableSet<E> ,E> 一样。我们选择定义一个定制的函数接口,因为该接口和方法名称可以提升代码的可读性,且该接口可以发展整合多个回调。也就是说,还可以设置合理的参数来使用 BiConsumer (详见第 44 条)。

  如果只是粗略地检验一下, ObservableSet 会显得很正常。例如,下面的程序打印出 0 ~ 99 的数字:

  1. public static void main(String[] args) {
  2. ObservableSet<Integer> set = new ObservableSet<>(new HashSet<>());
  3. set.addObserver((s, e) -> System.out.println(e));
  4. for (int i = 0; i < 100; i++)
  5. set.add(i);
  6. }

  现在我们来尝试一些更复杂点的例子。假设我们用一个 addObserver 调用来代替这个调用,用来替换的那个 addObserver 调用传递了一个打印 Integer 值的观察者,这个值被添加到该集合中,如果值为 23 ,这个观察者要将自身删除:

  1. set.addObserver(new SetObserver<>() {
  2. public void added(ObservableSet<Integer> s, Integer e) {
  3. System.out.println(e);
  4. if (e == 23)
  5. s.removeObserver(this);
  6. }
  7. });

  注意,这个调用以一个匿名类 SetObserver 实例代替了前一个调用中使用的 lambda 。这是因为函数对象需要将自身传给 s.removeObserver ,而 lambda 则无法访问它们自己(详见第 42 条) 。

  你可能以为这个程序会打印数字 0 ~ 23 ,之后观察者会取消预订,程序会悄悄地完成它的工作。实际上却是打印出数字 0 ~ 23 ,然后抛出 ConcurrentModificationException 。问题在于,当 notifyElementAdded 调用观察者的 added 方法时,它正处于遍历 observers 列表的过程中。added 方法调用可观察集合的 removeObserver 方法,从而调用 observers.remove 。现在我们有麻烦了。我们正企图在遍历列表的过程中,将一个元素从列表中删除,这是非法的。notifyElementAdded 方法中的迭代是在一个同步的块中,可以防止并发的修改,但是无法防止迭代线程本身回调到可观察的集合中,也无法防止修改它的 observers 列表。

  现在我们要尝试一些比较奇特的例子: 我们来编写一个试图取消预订的观察者,但是不直接调用 removeObserver ,它用另一个线程的服务来完成。这个观察者使用了一个 executor service (详见第 80 条):

  1. // Observer that uses a background thread needlessly
  2. set.addObserver(new SetObserver<>() {
  3. public void added(ObservableSet<Integer> s, Integer e) {
  4. System.out.println(e);
  5. if (e == 23) {
  6. ExecutorService exec =
  7. Executors.newSingleThreadExecutor();
  8. try {
  9. exec.submit(() -> s.removeObserver(this)).get();
  10. }
  11. catch (ExecutionException | InterruptedException ex) {
  12. throw new AssertionError (ex);
  13. }
  14. finally {
  15. exec.shutdown();
  16. }
  17. }
  18. }
  19. });

  顺便提一句,注意看这个程序在一个 catch 子句中捕获了两个不同的异常类型。这个机制是在 Java 7 中增加的,不太正式地称之为多重捕获( multi-catch ) 。它可以极大地提升代码的清晰度,行为与多异常类型相同的程序,其篇幅可以大幅减少。

  运行这个程序时,没有遇到异常,而是遭遇了死锁。后台线程调用 s.removeObserver,它企图锁定 observers,但它无法获得该锁,因为主线程已经有锁了。在这期间,主线程一直在等待后台线程来完成对观察者的删除,这正是造成死锁的原因。

  这个例子是刻意编写用来示范的,因为观察者实际上没理由使用后台线程,但这个问题却是真实的。从同步区域中调用外来方法,在真实的系统中已经造成了许多死锁,例如 GUI 工具箱。

  在前面这两个例子中(异常和死锁),我们都还算幸运。调用外来方法( added )时,同步区域( observers )所保护的资源处于一致的状态。假设当同步区域所保护的约束条件暂时无效时,你要从同步区域中调用一个外来方法。由于 Java 程序设计语言中的锁是可重入的( reentrant ),这种调用不会死锁。就像在第一个例子中一样,它会产生一个异常,因为调用线程已经有这个锁了,因此当该线程试图再次获得该锁时会成功,尽管概念上不相关的另一项操作正在该锁所保护的数据上进行着。这种失败的后果可能是灾难性的。从本质上来说,这个锁没有尽到它的职责。可重入的锁简化了多线程的面向对象程序的构造,但是它们可能会将活性失败变成安全性失败。

  幸运的是,通过将外来方法的调用移出同步的代码块来解决这个问题通常并不太困难。对于 notifyElementAdded 方法,这还涉及给 observers 列表拍张“快照”,然后没有锁也可以安全地遍历这个列表了。经过这一修改,前两个例子运行起来便再也不会出现异常或者死锁了:

  1. // Alien method moved outside of synchronized block - open calls
  2. private void notifyElementAdded(E element) {
  3. List<SetObserver<E>> snapshot = null;
  4. synchronized(observers) {
  5. snapshot = new ArrayList<>(observers);
  6. }
  7. for (SetObserver<E> observer : snapshot)
  8. observer.added(this, element);
  9. }

  事实上,要将外来方法的调用移出同步的代码块,还有一种更好的方法。Java 类库提供了一个并发集合( concurrent collection ),详见第 81 条,称作 CopyOnWriteArrayList,这是专门为此定制的。这个 CopyOnWriteArrayListArrayList 的一种变体,它通过重新拷贝整个底层数组,在这里实现所有的写操作。由于内部数组永远不改动,因此迭代不需要锁定,速度也非常快。如果大量使用, CopyOnWriteArrayList 的性能将大受影响,但是对于观察者列表来说却是很好的,因为它们几乎不改动,并且经常被遍历。

  如果将这个列表改成使用 CopyOnWriteArrayList ,就不必改动 ObservableSetaddaddAll 方法。下面是这个类的其余代码。注意其中并没有任何显式的同步:

  1. // Thread-safe observable set with CopyOnWriteArrayList
  2. private final List<SetObserver<E>> observers = new CopyOnWriteArrayList<>();
  3. public void addObserver(SetObserver<E> observer) {
  4. observers.add(observer);
  5. }
  6. public Boolean removeObserver(SetObserver<E> observer) {
  7. return observers.remove(observer);
  8. }
  9. private void notifyElementAdded(E element) {
  10. for (SetObserver<E> observer : observers)
  11. observer.added(this, element);
  12. }

  在同步区域之外被调用的外来方法被称作“开放调用”(open call)[Goetz06, 10 .1.4]。除了可以避免失败之外,开放调用还可以极大地增加并发性。外来方法的运行时间可能为任意时长。如果在同步区域内调用外来方法,其他线程对受保护资源的访问就会遭到不必要的拒绝。

  通常来说,应该在同步区域内做尽可能少的工作。 获得锁,检查共享数据,根据需要转换数据,然后释放锁。如果你必须要执行某个很耗时的动作,则应该设法把这个动作移到同步区域的外面,而不违背第 78 条中的指导方针。

  本条目的第一部分是关于正确性的。接下来,我们要简单地讨论一下性能。虽然自 Java 平台早期以来,同步的成本已经下降了,但更重要的是,永远不要过度同步。在这个多核的时代,过度同步的实际成本并不是指获取锁所花费的 CPU 时间;而是指失去了并行的机会,以及因为需要确保每个核都有一个-致的内存视图而导致的延迟。过度同步的另一项潜在开销在于,它会限制虚拟机优化代码执行的能力。

  如果正在编写一个可变的类,有两种选择:省略所有的同步,如果想要并发使用,就允许客户端在必要的时候从外部同步,或者通过内部同步,使这个类变成是线程安全的(详见第 82 条),你还可以因此获得明显比从外部锁定整个对象更高的并发性。java.util 中的集合(除了已经废弃的 VectorHashtable 之外)采用了前一种方法,而 java.util.concurrent 中的集合则采用了后一种方法(详见第 81 条)。

  在 Java 平台出现的早期,许多类都违背了这些指导方针。例如, StringBuffer 实例几乎总是被用于单个线程之中,而它们执行的却是内部同步。为此, StringBuffer 基本上都由 StringBuilder 代替,它是一个非同步的 StringBuffer 。同样地,java.util.Random 中线程安全的伪随机数生成器,被 java.util.concurrent.ThreadLocalRandom 中非同步的实现取代,主要也是出于上述原因。当你不确定的时候,就不要同步类,而应该建立文档,注明它不是线程安全的。

  如果你在内部同步了类,就可以使用不同的方法来实现高并发性,例如分拆锁、分离锁和非阻塞并发控制。这些方法都超出了本书的讨论范围,但有其他著作对此进行了阐述[Goetz06, Herlihy12] 。

  如果方法修改了静态字段,并且该方法很可能要被多个线程调用,那么也必须在内部同步对这个字段的访问(除非这个类能够容忍不确定的行为) 。多线程的客户端要在这种方法上执行外部同步是不可能的,因为其他不相关的客户端不需要同步也能调用该方法。字段本质上就是一个全局变量,即使是私有的也一样,因为它可以被不相关的客户端读取和修改。第 78 条中的 generateSerialNumber 方法使用的 nextSerialNumber 字段就是这样的一个例子。

  总而言之,为了避免死锁和数据破坏,千万不要从同步区字段内部调用外来方法。更通俗地讲,要尽量将同步区字段内部的工作量限制到最少。当你在设计一个可变类的时候,要考虑一下它们是否应该自己完成同步操作。在如今这个多核的时代,这比永远不要过度同步来得更重要。只有当你有足够的理由一定要在内部同步类的时候,才应该这么做,同时还应该将这个决定清楚地写到文档中(详见第 82 条) 。