【发布时间】:2023-03-31 09:59:01
【问题描述】:
我正在使用带有 Spark SQL 上下文的 CSV 文件读取文件。
代码:
m.put("path", CSV_DIRECTORY+file.getOriginalFilename());
m.put("inferSchema", "true"); // Automatically infer data types else string by default
m.put("header", "true"); // Use first line of all files as header
m.put("delimiter", ";");
DataFrame df = sqlContext.load("com.databricks.spark.csv",m);
df.printSchema();
使用df.printSchema()获取列名和数据类型
O/P:
|--id : integer (nullable = true)
|-- ApplicationNo: string (nullable = true)
|-- Applidate: timestamp(nullable = true)
语句 printSchema 的返回类型是什么。如何将输出转换为 JSON 格式,如何将数据框转换为 JSON??
所需的 O/P:
{"column":"id","datatype":"integer"}
【问题讨论】:
标签: java json scala apache-spark apache-spark-sql