PTable

PTable 定义

class bigflow.ptable.PTable(value, **options)

基类：bigflow.ptype.PType

用于表示具有分布式Key-Value映射关系的 bigflow.ptype.PType

Constructor .. note:: 用户不应当直接使用其构造方法

Methods:

• apply_key_values(transform, side_inputs, options*)

  将Key和Value做一个变换

  参数:	transform (function) — 变换函数 side_inputs — 参与计算的SideInputs *options — 可配置选项
  返回:	变换结果
  返回类型:	PTable

  >> nums = _pipeline.parallelize([1, 2, 3, 4, 5, 6, 7])
  >> grouped = nums.group_by(lambda n: n % 2)
  >> def in_every_group(key, value):
  ..     key = key.map(lambda k: 2 if k == 1 else 3)
  ..     return value.take(key)
  >> grouped.apply_key_values(in_every_group).get()
  {0: [2, 4, 6], 1: [1, 3]}

• apply_values(transform, args, options*)

  对Value进行一个变换

  参数:	transform (callable) — 作用在Value上的变换函数 args (object) — 变换所需要的参数列表 *options — 可配置选项
  返回:	变换结果
  返回类型:	PTable

  >> nums = _pipeline.parallelize([1, 2, 3])
  >> grouped = nums.group_by(lambda n: n % 2)
  >> grouped.apply_values(transforms.sum).get()
  {0: [2], 1: [4]}

• extract_keys(**options)

  提取给定PTable中所有的key，等价于 transforms.extract_keys(self, options) :param **options: 可配置选项

  返回:	所有的key，以PCollection给出
  返回类型:	PCollection

• extract_values(**options)

  提取给定PTable中所有的value，等价于 transforms.extract_values(self, options)

  参数:	**options — 可配置选项
  返回:	所有的value，以PCollection给出
  返回类型:	PCollection

• flatten(**option)

  对于每个Key和Value中的每个元素(value 1, value 2, … value m)，构造(Key, value 1), (Key, value 2), … (Key, value m)，结果使用PCollection表示

  返回:	表示结果的PCollection
  返回类型:	PCollection

• flatten_values()

  使用Value中的每个元素(value 1, value 2, … value m)，构造PCollection，等价于 self.extract_values()

  返回:	包含所有Value的PCollection
  返回类型:	PCollection

• inner_most_type()

  返回其最内部Value的类型

  返回:	最内部Value类型，PCollection或PObject
  返回类型:	class

  >>> _pipeline.parallelize({"A": 1}).inner_most_type()
  >>> bigflow.pcollection.PCollection

• key_serdes()

  返回Key的序列化/反序列化器

• nested_level()

  返回该PTable的嵌套层级，即其Value中包含几个PTable

  返回:	嵌套层级
  返回类型:	int

  >>> _pipeline.parallelize({"A": 1}).nested_level()
  >>> 0

  >>> _pipeline.parallelize({"A": "a": 1}).nested_level()
  >>> 1

• node()

  返回PTable所对应的Node

  返回:	node
  返回类型:	LogicalPlan.Node
  Raises:	BigflowPlanningException — 若无法得到Node

  注解

  用户不应当使用此方法