15.19 从C语言中读取类文件对象

问题

你要写C扩展来读取来自任何Python类文件对象中的数据（比如普通文件、StringIO对象等）。

解决方案

要读取一个类文件对象的数据，你需要重复调用 read() 方法，然后正确的解码获得的数据。

下面是一个C扩展函数例子，仅仅只是读取一个类文件对象中的所有数据并将其输出到标准输出：

  1. #define CHUNK_SIZE 8192
  2.  
  3. /* Consume a "file-like" object and write bytes to stdout */
  4. static PyObject *py_consume_file(PyObject *self, PyObject *args) {
  5.   PyObject *obj;
  6.   PyObject *read_meth;
  7.   PyObject *result = NULL;
  8.   PyObject *read_args;
  9.  
  10.   if (!PyArg_ParseTuple(args,"O", &obj)) {
  11.     return NULL;
  12.   }
  13.  
  14.   /* Get the read method of the passed object */
  15.   if ((read_meth = PyObject_GetAttrString(obj, "read")) == NULL) {
  16.     return NULL;
  17.   }
  18.  
  19.   /* Build the argument list to read() */
  20.   read_args = Py_BuildValue("(i)", CHUNK_SIZE);
  21.   while (1) {
  22.     PyObject *data;
  23.     PyObject *enc_data;
  24.     char *buf;
  25.     Py_ssize_t len;
  26.  
  27.     /* Call read() */
  28.     if ((data = PyObject_Call(read_meth, read_args, NULL)) == NULL) {
  29.       goto final;
  30.     }
  31.  
  32.     /* Check for EOF */
  33.     if (PySequence_Length(data) == 0) {
  34.       Py_DECREF(data);
  35.       break;
  36.     }
  37.  
  38.     /* Encode Unicode as Bytes for C */
  39.     if ((enc_data=PyUnicode_AsEncodedString(data,"utf-8","strict"))==NULL) {
  40.       Py_DECREF(data);
  41.       goto final;
  42.     }
  43.  
  44.     /* Extract underlying buffer data */
  45.     PyBytes_AsStringAndSize(enc_data, &buf, &len);
  46.  
  47.     /* Write to stdout (replace with something more useful) */
  48.     write(1, buf, len);
  49.  
  50.     /* Cleanup */
  51.     Py_DECREF(enc_data);
  52.     Py_DECREF(data);
  53.   }
  54.   result = Py_BuildValue("");
  55.  
  56.  final:
  57.   /* Cleanup */
  58.   Py_DECREF(read_meth);
  59.   Py_DECREF(read_args);
  60.   return result;
  61. }

要测试这个代码，先构造一个类文件对象比如一个StringIO实例，然后传递进来：

  1. >>> import io
  2. >>> f = io.StringIO('Hello\nWorld\n')
  3. >>> import sample
  4. >>> sample.consume_file(f)
  5. Hello
  6. World
  7. >>>

讨论

和普通系统文件不同的是，一个类文件对象并不需要使用低级文件描述符来构建。因此，你不能使用普通的C库函数来访问它。你需要使用Python的C API来像普通文件类似的那样操作类文件对象。

在我们的解决方案中，read() 方法从被传递的对象中提取出来。一个参数列表被构建然后不断的被传给 PyObject_Call() 来调用这个方法。要检查文件末尾（EOF），使用了 PySequence_Length() 来查看是否返回对象长度为0.

对于所有的I/O操作，你需要关注底层的编码格式，还有字节和Unicode之前的区别。本节演示了如何以文本模式读取一个文件并将结果文本解码为一个字节编码，这样在C中就可以使用它了。如果你想以二进制模式读取文件，只需要修改一点点即可，例如：

  1. ...
  2. /* Call read() */
  3. if ((data = PyObject_Call(read_meth, read_args, NULL)) == NULL) {
  4.   goto final;
  5. }
  6.  
  7. /* Check for EOF */
  8. if (PySequence_Length(data) == 0) {
  9.   Py_DECREF(data);
  10.   break;
  11. }
  12. if (!PyBytes_Check(data)) {
  13.   Py_DECREF(data);
  14.   PyErr_SetString(PyExc_IOError, "File must be in binary mode");
  15.   goto final;
  16. }
  17.  
  18. /* Extract underlying buffer data */
  19. PyBytes_AsStringAndSize(data, &buf, &len);
  20. ...

本节最难的地方在于如何进行正确的内存管理。当处理 PyObject * 变量的时候，需要注意管理引用计数以及在不需要的变量的时候清理它们的值。对 Py_DECREF() 的调用就是来做这个的。

本节代码以一种通用方式编写，因此他也能适用于其他的文件操作，比如写文件。例如，要写数据，只需要获取类文件对象的 write() 方法，将数据转换为合适的Python对象（字节或Unicode），然后调用该方法将输入写入到文件。

最后，尽管类文件对象通常还提供其他方法（比如readline(), read_info()），我们最好只使用基本的 read() 和 write() 方法。在写C扩展的时候，能简单就尽量简单。

原文:

http://python3-cookbook.readthedocs.io/zh_CN/latest/c15/p19_read_file_like_objects_from_c.html