分位点离散

功能介绍

分位点离散可以计算选定列的分位点,然后使用这些分位点进行离散化。生成选中列对应的q-quantile,其中可以所有列指定一个,也可以每一列对应一个

参数说明

名称 中文名称 描述 类型 是否必须? 默认值
selectedCols 选择的列名 计算列对应的列名列表 String[]
numBuckets quantile个数 quantile个数,对所有列有效。 Integer 2
numBucketsArray quantile个数 quantile个数,每一列对应数组中一个元素。 Integer[] null
selectedCols 选择的列名 计算列对应的列名列表 String[]
reservedCols 算法保留列名 算法保留列 String[] null
outputCols 输出结果列列名数组 输出结果列列名数组,可选,默认null String[] null

脚本示例

脚本代码

  1. import numpy as np
  2. import pandas as pd
  3. from pyalink.alink import *
  4. def exampleData():
  5. return np.array([
  6. ["a", 1, 1, 2.0, True],
  7. ["c", 1, 2, -3.0, True],
  8. ["a", 2, 2, 2.0, False],
  9. ["c", 0, 0, 0.0, False]
  10. ])
  11. def sourceFrame():
  12. data = exampleData()
  13. return pd.DataFrame({
  14. "f_string": data[:, 0],
  15. "f_long": data[:, 1],
  16. "f_int": data[:, 2],
  17. "f_double": data[:, 3],
  18. "f_boolean": data[:, 4]
  19. })
  20. def batchSource():
  21. return dataframeToOperator(
  22. sourceFrame(),
  23. schemaStr='''
  24. f_string string,
  25. f_long long,
  26. f_int int,
  27. f_double double,
  28. f_boolean boolean
  29. ''',
  30. op_type='batch'
  31. )
  32. def streamSource():
  33. return dataframeToOperator(
  34. sourceFrame(),
  35. schemaStr='''
  36. f_string string,
  37. f_long long,
  38. f_int int,
  39. f_double double,
  40. f_boolean boolean
  41. ''',
  42. op_type='stream'
  43. )
  44. (
  45. QuantileDiscretizer()
  46. .setSelectedCols(['f_double'])
  47. .setNumBuckets(8)
  48. .fit(batchSource())
  49. .transform(batchSource())
  50. .print()
  51. )
  52. (
  53. QuantileDiscretizer()
  54. .setSelectedCols(['f_double'])
  55. .setNumBuckets(8)
  56. .fit(batchSource())
  57. .transform(streamSource())
  58. .print()
  59. )
  60. StreamOperator.execute()

脚本结果

批预测结果

  1. f_string f_long f_int f_double f_boolean
  2. 0 a 1 1 2 True
  3. 1 c 1 2 0 True
  4. 2 a 2 2 2 False
  5. 3 c 0 0 1 False

流预测结果

  1. f_string f_long f_int f_double f_boolean
  2. 0 c 1 2 0 True
  3. 1 c 0 0 1 False
  4. 2 a 1 1 2 True
  5. 3 a 2 2 2 False