共享状态并发

ch16-03-shared-state.md


commit 90406bd5a4cd4447b46cd7e03d33f34a651e9bb7

虽然消息传递是一个很好的处理并发的方式,但并不是唯一一个。再一次思考一下 Go 编程语言文档中口号的这一部分:“通过共享内存通讯”:

What would communicating by sharing memory look like? In addition, why would message passing enthusiasts not use it and do the opposite instead?

通过共享内存通讯看起来如何?除此之外,为何消息传递的拥护者并不使用它并反其道而行之呢?

在某种程度上,任何编程语言中的通道都类似于单所有权,因为一旦将一个值传送到通道中,将无法再使用这个值。共享内存类似于多所有权:多个线程可以同时访问相同的内存位置。第十五章介绍了智能指针如何使得多所有权成为可能,然而这会增加额外的复杂性,因为需要以某种方式管理这些不同的所有者。作为一个例子,让我们看看互斥器,一个更为常见的共享内存并发原语。

互斥器一次只允许一个线程访问数据

互斥器mutex)是 “mutual exclusion” 的缩写,也就是说,任意时刻,其只允许一个线程访问某些数据。为了访问互斥器中的数据,线程首先需要通过获取互斥器的 lock)来表明其希望访问数据。锁是一个作为互斥器一部分的数据结构,它记录谁有数据的排他访问权。因此,我们描述互斥器为通过锁系统 保护guarding)其数据。

互斥器以难以使用著称,因为你不得不记住:

  1. 在使用数据之前尝试获取锁。
  2. 处理完被互斥器所保护的数据之后,必须解锁数据,这样其他线程才能够获取锁。

作为一个现实中互斥器的例子,想象一下在某个会议的一次小组座谈会中,只有一个麦克风。如果一位成员要发言,他必须请求或表示希望使用麦克风。一旦得到了麦克风,他可以畅所欲言,然后将麦克风交给下一位希望讲话的成员。如果一位成员结束发言后忘记将麦克风交还,其他人将无法发言。如果对共享麦克风的管理出现了问题,座谈会将无法如期进行!

正确的管理互斥器异常复杂,这也是许多人之所以热衷于通道的原因。然而,在 Rust 中,得益于类型系统和所有权,我们不会在锁和解锁上出错。

Mutex<T>的 API

作为展示如何使用互斥器的例子,让我们从在单线程上下文使用互斥器开始,如示例 16-12 所示:

文件名: src/main.rs

  1. use std::sync::Mutex;
  2. fn main() {
  3. let m = Mutex::new(5);
  4. {
  5. let mut num = m.lock().unwrap();
  6. *num = 6;
  7. }
  8. println!("m = {:?}", m);
  9. }

示例 16-12: 出于简单的考虑,在一个单线程上下文中探索 Mutex<T> 的 API

像很多类型一样,我们使用关联函数 new 来创建一个 Mutex<T>。使用 lock 方法获取锁,以访问互斥器中的数据。这个调用会阻塞当前线程,直到我们拥有锁为止。

如果另一个线程拥有锁,并且那个线程 panic 了,则 lock 调用会失败。在这种情况下,没人能够再获取锁,所以这里选择 unwrap 并在遇到这种情况时使线程 panic。

一旦获取了锁,就可以将返回值(在这里是num)视为一个其内部数据的可变引用了。类型系统确保了我们在使用 m 中的值之前获取锁:Mutex<i32> 并不是一个 i32,所以 必须 获取锁才能使用这个 i32 值。我们是不会忘记这么做的,因为反之类型系统不允许访问内部的 i32 值。

正如你所怀疑的,Mutex<T> 是一个智能指针。更准确的说,lock 调用 返回 一个叫做 MutexGuard 的智能指针。这个智能指针实现了 Deref 来指向其内部数据;其也提供了一个 Drop 实现当 MutexGuard 离开作用域时自动释放锁,这正发生于示例 16-12 内部作用域的结尾。为此,我们不会冒忘记释放锁并阻塞互斥器为其它线程所用的风险,因为锁的释放是自动发生的。

丢弃了锁之后,可以打印出互斥器的值,并发现能够将其内部的 i32 改为 6。

在线程间共享 Mutex<T>

现在让我们尝试使用 Mutex<T> 在多个线程间共享值。我们将启动十个线程,并在各个线程中对同一个计数器值加一,这样计数器将从 0 变为 10。注意,接下来的几个例子会出现编译错误,而我们将通过这些错误来学习如何使用 Mutex<T>,以及 Rust 又是如何帮助我们正确使用的。示例 16-13 是最开始的例子:

文件名: src/main.rs

  1. use std::sync::Mutex;
  2. use std::thread;
  3. fn main() {
  4. let counter = Mutex::new(0);
  5. let mut handles = vec![];
  6. for _ in 0..10 {
  7. let handle = thread::spawn(move || {
  8. let mut num = counter.lock().unwrap();
  9. *num += 1;
  10. });
  11. handles.push(handle);
  12. }
  13. for handle in handles {
  14. handle.join().unwrap();
  15. }
  16. println!("Result: {}", *counter.lock().unwrap());
  17. }

示例 16-13: 程序启动了 10 个线程,每个线程都通过 Mutex<T> 来增加计数器的值

这里创建了一个 counter 变量来存放内含 i32Mutex<T>,类似示例 16-12 那样。接下来遍历 range 创建了 10 个线程。使用了 thread::spawn 并对所有线程使用了相同的闭包:他们每一个都将调用 lock 方法来获取 Mutex<T> 上的锁,接着将互斥器中的值加一。当一个线程结束执行,num 会离开闭包作用域并释放锁,这样另一个线程就可以获取它了。

在主线程中,我们像示例 16-2 那样收集了所有的 join 句柄,调用它们的 join 方法来确保所有线程都会结束。之后,主线程会获取锁并打印出程序的结果。

之前提示过这个例子不能编译,让我们看看为什么!

  1. error[E0382]: capture of moved value: `counter`
  2. --> src/main.rs:10:27
  3. |
  4. 9 | let handle = thread::spawn(move || {
  5. | ------- value moved (into closure) here
  6. 10 | let mut num = counter.lock().unwrap();
  7. | ^^^^^^^ value captured here after move
  8. |
  9. = note: move occurs because `counter` has type `std::sync::Mutex<i32>`,
  10. which does not implement the `Copy` trait
  11. error[E0382]: use of moved value: `counter`
  12. --> src/main.rs:21:29
  13. |
  14. 9 | let handle = thread::spawn(move || {
  15. | ------- value moved (into closure) here
  16. ...
  17. 21 | println!("Result: {}", *counter.lock().unwrap());
  18. | ^^^^^^^ value used here after move
  19. |
  20. = note: move occurs because `counter` has type `std::sync::Mutex<i32>`,
  21. which does not implement the `Copy` trait
  22. error: aborting due to 2 previous errors

错误信息表明 counter 值被移动进了闭包并当调用 lock 时被捕获。这听起来正是我们需要的,但是这是不允许的!

让我们简化程序来进行分析。不同于在 for 循环中创建 10 个线程,仅仅创建两个线程来观察发生了什么。将示例 16-13 中第一个 for 循环替换为如下代码:

  1. let handle = thread::spawn(move || {
  2. let mut num = counter.lock().unwrap();
  3. *num += 1;
  4. });
  5. handles.push(handle);
  6. let handle2 = thread::spawn(move || {
  7. let mut num2 = counter.lock().unwrap();
  8. *num2 += 1;
  9. });
  10. handles.push(handle2);

这里创建了两个线程并将用于第二个线程的变量名改为 handle2num2。这一次当运行代码时,编译会给出如下错误:

  1. error[E0382]: capture of moved value: `counter`
  2. --> src/main.rs:16:24
  3. |
  4. 8 | let handle = thread::spawn(move || {
  5. | ------- value moved (into closure) here
  6. ...
  7. 16 | let mut num2 = counter.lock().unwrap();
  8. | ^^^^^^^ value captured here after move
  9. |
  10. = note: move occurs because `counter` has type `std::sync::Mutex<i32>`,
  11. which does not implement the `Copy` trait
  12. error[E0382]: use of moved value: `counter`
  13. --> src/main.rs:26:29
  14. |
  15. 8 | let handle = thread::spawn(move || {
  16. | ------- value moved (into closure) here
  17. ...
  18. 26 | println!("Result: {}", *counter.lock().unwrap());
  19. | ^^^^^^^ value used here after move
  20. |
  21. = note: move occurs because `counter` has type `std::sync::Mutex<i32>`,
  22. which does not implement the `Copy` trait
  23. error: aborting due to 2 previous errors

啊哈!第一个错误信息中说,counter 被移动进了 handle 所代表线程的闭包中。因此我们无法在第二个线程中对其调用 lock,并将结果储存在 num2 中时捕获counter!所以 Rust 告诉我们不能将 counter 的所有权移动到多个线程中。这在之前很难看出,因为我们在循环中创建了多个线程,而 Rust 无法在每次迭代中指明不同的线程。让我们通过一个第十五章讨论过的多所有权手段来修复这个编译错误。

多线程和多所有权

在第十五章中,通过使用智能指针 Rc<T> 来创建引用计数的值,以便拥有多所有者。让我们在这也这么做看看会发生什么。将示例 16-14 中的 Mutex<T> 封装进 Rc<T> 中并在将所有权移入线程之前克隆了 Rc<T>。现在我们理解了所发生的错误,同时也将代码改回使用 for 循环,并保留闭包的 move 关键字:

文件名: src/main.rs

  1. use std::rc::Rc;
  2. use std::sync::Mutex;
  3. use std::thread;
  4. fn main() {
  5. let counter = Rc::new(Mutex::new(0));
  6. let mut handles = vec![];
  7. for _ in 0..10 {
  8. let counter = Rc::clone(&counter);
  9. let handle = thread::spawn(move || {
  10. let mut num = counter.lock().unwrap();
  11. *num += 1;
  12. });
  13. handles.push(handle);
  14. }
  15. for handle in handles {
  16. handle.join().unwrap();
  17. }
  18. println!("Result: {}", *counter.lock().unwrap());
  19. }

示例 16-14: 尝试使用 Rc<T> 来允许多个线程拥有 Mutex<T>

再一次编译并…出现了不同的错误!编译器真是教会了我们很多!

  1. error[E0277]: the trait bound `std::rc::Rc<std::sync::Mutex<i32>>:
  2. std::marker::Send` is not satisfied in `[closure@src/main.rs:11:36:
  3. 15:10
  4. counter:std::rc::Rc<std::sync::Mutex<i32>>]`
  5. --> src/main.rs:11:22
  6. |
  7. 11 | let handle = thread::spawn(move || {
  8. | ^^^^^^^^^^^^^ `std::rc::Rc<std::sync::Mutex<i32>>`
  9. cannot be sent between threads safely
  10. |
  11. = help: within `[closure@src/main.rs:11:36: 15:10
  12. counter:std::rc::Rc<std::sync::Mutex<i32>>]`, the trait `std::marker::Send` is
  13. not implemented for `std::rc::Rc<std::sync::Mutex<i32>>`
  14. = note: required because it appears within the type
  15. `[closure@src/main.rs:11:36: 15:10
  16. counter:std::rc::Rc<std::sync::Mutex<i32>>]`
  17. = note: required by `std::thread::spawn`

哇哦,错误信息太长不看!这里是一些需要注意的重要部分:第一行错误表明 `std::rc::Rc<std::sync::Mutex<i32>>` cannot be sent between threads safely。其原因是另一个值得注意的部分,经过提炼的错误信息表明 the trait bound `Send` is not satisfied。下一部分会讲到 Send:这是确保所使用的类型意在用于并发环境的 trait 之一。

不幸的是,Rc<T> 并不能安全的在线程间共享。当 Rc<T> 管理引用计数时,它必须在每一个 clone 调用时增加计数,并在每一个克隆被丢弃时减少计数。Rc<T> 并没有使用任何并发原语,来确保改变计数的操作不会被其他线程打断。在计数出错时可能会导致诡异的 bug,比如可能会造成内存泄漏,或在使用结束之前就丢弃一个值。我们所需要的是一个完全类似 Rc<T>,又以一种线程安全的方式改变引用计数的类型。

原子引用计数 Arc<T>

所幸 Arc<T> 正是 这么一个类似 Rc<T> 并可以安全的用于并发环境的类型。字母 “a” 代表 原子性atomic),所以这是一个原子引用计数atomically reference counted)类型。原子性是另一类这里还未涉及到的并发原语:请查看标准库中 std::sync::atomic 的文档来获取更多细节。其中的要点就是:原子性类型工作起来类似原始类型,不过可以安全的在线程间共享。

你可能会好奇为什么不是所有的原始类型都是原子性的?为什么不是所有标准库中的类型都默认使用 Arc<T> 实现?原因在于线程安全带有性能惩罚,我们希望只在必要时才为此买单。如果只是在单线程中对值进行操作,原子性提供的保证并无必要,代码可以因此运行的更快。

回到之前的例子:Arc<T>Rc<T> 有着相同的 API,所以修改程序中的 use 行和 new 调用。示例 16-15 中的代码最终可以编译和运行:

文件名: src/main.rs

  1. use std::sync::{Mutex, Arc};
  2. use std::thread;
  3. fn main() {
  4. let counter = Arc::new(Mutex::new(0));
  5. let mut handles = vec![];
  6. for _ in 0..10 {
  7. let counter = Arc::clone(&counter);
  8. let handle = thread::spawn(move || {
  9. let mut num = counter.lock().unwrap();
  10. *num += 1;
  11. });
  12. handles.push(handle);
  13. }
  14. for handle in handles {
  15. handle.join().unwrap();
  16. }
  17. println!("Result: {}", *counter.lock().unwrap());
  18. }

示例 16-15: 使用 Arc<T> 包装一个 Mutex<T> 能够实现在多线程之间共享所有权

这会打印出:

  1. Result: 10

成功了!我们从 0 数到了 10,这可能并不是很显眼,不过一路上我们确实学习了很多关于 Mutex<T> 和线程安全的内容!这个例子中构建的结构可以用于比增加计数更为复杂的操作。使用这个策略,可将计算分成独立的部分,分散到多个线程中,接着使用 Mutex<T> 使用各自的结算结果更新最终的结果。

RefCell<T>/Rc<T>Mutex<T>/Arc<T> 的相似性

你可能注意到了,因为 counter 是不可变的,不过可以获取其内部值的可变引用;这意味着 Mutex<T> 提供了内部可变性,就像 Cell 系列类型那样。正如第十五章中使用 RefCell<T> 可以改变 Rc<T> 中的内容那样,同样的可以使用 Mutex<T> 来改变 Arc<T> 中的内容。

另一个值得注意的细节是 Rust 不能避免使用 Mutex<T> 的全部逻辑错误。回忆一下第十五章使用 Rc<T> 就有造成引用循环的风险,这时两个 Rc<T> 值相互引用,造成内存泄露。同理,Mutex<T> 也有造成 死锁deadlock) 的风险。这发生于当一个操作需要锁住两个资源而两个线程各持一个锁,这会造成它们永远相互等待。如果你对这个主题感兴趣,尝试编写一个带有死锁的 Rust 程序,接着研究任何其他语言中使用互斥器的死锁规避策略并尝试在 Rust 中实现他们。标准库中 Mutex<T>MutexGuard 的 API 文档会提供有用的信息。

接下来,为了丰富本章的内容,让我们讨论一下 SendSync trait 以及如何对自定义类型使用他们。