功能介绍

写CSV文件。支持写到本地、hdfs。

参数说明

名称 中文名称 描述 类型 是否必须? 默认值
filePath 文件路径 文件路径 String
fieldDelimiter 字段分隔符 字段分隔符 String “,”
rowDelimiter 行分隔符 行分隔符 String “\n”
quoteChar 引号字符 引号字符 Character “\””
overwriteSink 是否覆写已有数据 是否覆写已有数据 Boolean false
numFiles 文件数目 文件数目 Integer 1

脚本示例

batch sink

  1. filePath = 'http://alink-dataset.cn-hangzhou.oss.aliyun-inc.com/csv/iris.csv'
  2. schema = 'sepal_length double, sepal_width double, petal_length double, petal_width double, category string'
  3. csvSource = CsvSourceBatchOp()\
  4. .setFilePath(filePath)\
  5. .setSchemaStr(schema)\
  6. .setFieldDelimiter(",")
  7. csvSink = CsvSinkBatchOp()\
  8. .setFilePath('~/csv_test.txt')
  9. csvSource.link(csvSink)
  10. BatchOperator.execute()

stream sink

  1. filePath = 'http://alink-dataset.cn-hangzhou.oss.aliyun-inc.com/csv/iris.csv'
  2. schema = 'sepal_length double, sepal_width double, petal_length double, petal_width double, category string'
  3. csvSource = CsvSourceStreamOp()\
  4. .setFilePath(filePath)\
  5. .setSchemaStr(schema)\
  6. .setFieldDelimiter(",")
  7. csvSink = CsvSinkStreamOp()\
  8. .setFilePath('~/csv_test_s.txt')
  9. csvSource.link(csvSink)
  10. StreamOperator.execute()