【问题标题】:Spark Java program logic issueSpark Java程序逻辑问题
【发布时间】:2018-04-20 14:47:50
【问题描述】:

我正在尝试为当前项目做 POC。我们要检查是否可以使用 spark 的地方。

当前系统有批处理,从表中获取数据并根据批处理代码修改它们。

我是 Apache spark 的新手,作为 POC 的一部分,我正在使用将 CSV 文件加载到 DataFrame 中

Dataset<Row> df = sparkSession.read().format("csv").option("header", true).option("inferSchema", true).load("C:/Users/xyz/Downloads/Apache spark installation and books/data.csv");

现在基于两列的值(现在在 csv 中)我需要填充第三列。

但在早期的系统中,我们需要查询一个表,并根据这两个值来检索该表的第三列。

以及我们用于在主表中填充的那一列的值。

现在我有 csv 格式的主表,但我不确定如何保存另一个表的数据,我需要根据主表中的两列获取值。

你能帮忙吗?

编辑

更多信息:

在我当前的系统中,我有两个表 A 和 B

表 A

col1 col2 col3

数据1 数据2 数据3

表 B

col1 col2 col3 col4 col5 col6 .......coln

data1 data2 data3 data4 data5 data6 ..........datan

目前正在发生的事情是:

从表 A - col2 和 col3 也出现在表 B 中。

表 A 的 col1 也存在于表 B 中,但值为空。

所以表 B 中 col 8 和 col9 的 col2 和 col3 值用于用表 A 中 col1 的值填充表 B 中的该列。

为了使用 Java 在 Spark 中执行此操作,我为这两个表创建了两个 csv 文件。 (这种方法正确吗?)并将它们加载到数据框中。

现在我不确定如何执行上述操作并更新包含表 B 的数据框。

我希望它澄清。

【问题讨论】:

  • 我认为您可能想说明您实际尝试做的事情。即一个小数据样本。创建新列的逻辑
  • @eliasah 我试图详细说明,但我无法分享实际数据,因为它是生产数据,很抱歉造成歧义
  • 我还不清楚。哪些列的预期最终值是多少?
  • 创建虚拟数据,混淆数据。如果您不向我们提供更多信息,您将无法获得帮助
  • @eliasah 你说得对,我在这个问题中提到了 CSV 文件结构:stackoverflow.com/questions/49936260/…

标签: java apache-spark


【解决方案1】:

您可以使用 JDBC 驱动程序查询表数据并加载到数据集中,然后根据您的要求对数据集使用连接操作来操作数据。

    Dataset<Row> jdbcDF = SparkSessionBuilder.instance().getSparkSession().read().format("jdbc")
.option("url", ConnectionString)
.option("driver", driver)
.option("dbtable", Query)
.option("user", username)
.option("password", password)
.load();

【讨论】:

  • 但我的意思是我当前的项目正在使用表,但是如果我想使用 spark 实现这个当前功能,我还需要使用表吗?
  • 不取决于你。您可以使用表并将它们加载到数据集中以执行操作,或者您可以简单地使用 HDFS 文件将数据加载到数据帧中并继续处理。
  • 目前我在 windows 机器上做 POC,所以我为两个表创建了两个 csv 文件并将它们加载到不同的数据帧,现在我需要检查 df1 中的两列值是否与两列值匹配在 df2 中,我需要更新 df2 中的第三列,该怎么做?这种方法正确吗?
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-04-16
  • 1970-01-01
相关资源
最近更新 更多