如何将excel数据读入spark/scala中的数据框

Question

我有一个要求，我需要在 spark/scala 中读取 excel 文件（扩展名为 .xlsx）。我需要使用从 excel 读取的数据创建一个数据框，并在其上应用/写入 sql 查询以进行一些分析。 excel 文件有一些列标题/标题，如“time_spend_company (Years)”、“average_monthly_hours (hours)”等，作为标题本身的空格，这些空格会导致我在加载的数据帧上应用任何 sql 查询的问题。

我正在使用 com.crealytics.spark.excel 库来解析 excel 内容，我的代码如下所示

val empFile = "C:\\EmpDatasets.xlsx"

val employeesDF = sc.sqlContext.read
  .format("com.crealytics.spark.excel")
  .option("sheetName", "Sheet1")
  .option("useHeader", "true")
  .option("treatEmptyValuesAsNulls", "false")
  .option("inferSchema", "false")
  .option("location", empFile)
  .option("addColorColumns", "False")
  .load()

employeesDF.createOrReplaceTempView("EMP")

我想在这些列上应用一些 group by 和其他聚合函数，我遇到了这些列的问题，如下所示，我的要求是在 time_spent_company 列上应用 group by 并获得计数它。

val expLevel = sc.sqlContext.sql("Select 'time_spend_company (Years)' as 'Years_spent_in_company',count(1) from EMP where left_company = 1 group by 'time_spend_company (Years)'")
expLevel.show

我需要帮助：-

1. 有没有更好的方法来加载 Excel 并为其分配自定义列名并创建数据框？
2. 如何为这些包含空格的列名编写 sql 查询？

注意：我只需要将其读取为 excel 文件，我无法转换为 csv 或任何其他文件格式。

Answer 1

对于版本0.13.5，您将需要一组不同的参数：

def readExcel(file: String): DataFrame = {
    sqlContext.read
      .format("com.crealytics.spark.excel")
      .option("dataAddress", "'sheet_name'!A1") // Optional, default: "A1"
      .option("header", "true") // Required
      .option("treatEmptyValuesAsNulls", "false") // Optional, default: true
      .option("inferSchema", "true") // Optional, default: false
      .option("addColorColumns", "false") // Optional, default: false
      .option("timestampFormat", "MM-dd-yyyy HH:mm:ss") // Optional, default: yyyy-mm-dd hh:mm:ss[.fffffffff]
      .option("maxRowsInMemory", 20) // Optional, d[#All]efault None. If set, uses a streaming reader which can help with big files
      .load(file)
  }

maven 依赖：

<dependency>
  <groupId>com.crealytics</groupId>
  <artifactId>spark-excel_2.11</artifactId>
  <version>0.13.5</version>
</dependency>

Answer 2

问题 2 的答案：尽管使用 '，但您需要在带有空格的列名称的开头和结尾之前使用 `。试试下面的查询它会工作：

val expLevel = sc.sqlContext.sql("Select `time_spend_company (Years)` as `Years_spent_in_company`,count(1) from EMP where left_company = 1 group by `time_spend_company (Years)`")

问题 1：使用“com.crealytics.spark.excel”加载 excel 是可以的。我也在使用它。也可以有不同的选择。要分配不同的列名，您可以使用 Struct Type 来定义架构并在将数据加载到数据帧期间强制执行它。例如

val newSchema = StructType(
    List(StructField("a", IntegerType, nullable = true),
         StructField("b", IntegerType, nullable = true),
         StructField("c", IntegerType, nullable = true),
         StructField("d", IntegerType, nullable = true))
  )

val employeesDF = spark.read.schema(newSchema)
  .format("com.crealytics.spark.excel")
  .option("sheetName", "Sheet1")
  .option("useHeader", "true")
  .option("treatEmptyValuesAsNulls", "false")
  .option("inferSchema", "false")
  .option("location", empFile)
  .option("addColorColumns", "False")
  .load()

现在将由 a、b、c 和 d 访问前四个列名。运行下面的查询，它将适用于新的列名。

sc.sqlContext.sql("select a,b,c,d from EMP").show()

Answer 3

1. Spark 对使用 CSV 有很好的支持。因此，如果您的 excel 文件只有一张表，您只需将 EmpDatasets.xlsx 重命名为 EmpDatasets.csv 即可将其转换为 CSV。使用this 进行操作。

将文件保存为 CSV 后，您可以将其读取为 spark.read.csv(pathToCSV)，并且可以提供许多选项，例如：读取/跳过标题或将数据集的架构提供为 spark.read.schema(schema).csv(pathToCSV)。

这里schema 可以按照here 的描述创建，也可以使用spark sql EncodersEncoders.product[case_class_name].schema从案例类中提取

1. 您可以从列名中删除空格，例如：

val employeesDFColumns = employeesDF.columns.map(x => col(x.replaceAll(" ", "")))

并在数据框上应用这些新的列名。

val employeeDF = employeeDF.select(employeesDFColumns:_*)