IndexToString

  与StringIndexer相对的是,IndexToString将标签索引列映射回原来的字符串标签。一个通用的使用案例是使用
StringIndexer将标签转换为索引,然后通过索引训练模型,最后通过IndexToString将预测的标签索引恢复成字符串标签。

例子

  假设我们有下面的DataFrame,它的列名为id和categoryIndex。

  1.  id | categoryIndex
  2. ----|---------------
  3.  0  | 0.0
  4.  1  | 2.0
  5.  2  | 1.0
  6.  3  | 0.0
  7.  4  | 0.0
  8.  5  | 1.0

  把categoryIndex作为输入列,originalCategory作为输出列,使用IndexToString我们可以恢复原来的标签。

  1. id  | categoryIndex | originalCategory
  2. ----|---------------|-----------------
  3.  0  | 0.0           | a
  4.  1  | 2.0           | b
  5.  2  | 1.0           | c
  6.  3  | 0.0           | a
  7.  4  | 0.0           | a
  8.  5  | 1.0           | c

  下面是程序调用的例子。

  1. import org.apache.spark.ml.feature.{IndexToString, StringIndexer}
  3. val df = spark.createDataFrame(Seq(
  4.   (0, "a"),
  5.   (1, "b"),
  6.   (2, "c"),
  7.   (3, "a"),
  8.   (4, "a"),
  9.   (5, "c")
  10. )).toDF("id", "category")
  12. val indexer = new StringIndexer()
  13.   .setInputCol("category")
  14.   .setOutputCol("categoryIndex")
  15.   .fit(df)
  16. val indexed = indexer.transform(df)
  18. val converter = new IndexToString()
  19.   .setInputCol("categoryIndex")
  20.   .setOutputCol("originalCategory")
  22. val converted = converter.transform(indexed)
  23. converted.select("id", "originalCategory").show()