【发布时间】:2018-04-20 14:47:50
【问题描述】:
我正在尝试为当前项目做 POC。我们要检查是否可以使用 spark 的地方。
当前系统有批处理,从表中获取数据并根据批处理代码修改它们。
我是 Apache spark 的新手,作为 POC 的一部分,我正在使用将 CSV 文件加载到 DataFrame 中
Dataset<Row> df = sparkSession.read().format("csv").option("header", true).option("inferSchema", true).load("C:/Users/xyz/Downloads/Apache spark installation and books/data.csv");
现在基于两列的值(现在在 csv 中)我需要填充第三列。
但在早期的系统中,我们需要查询一个表,并根据这两个值来检索该表的第三列。
以及我们用于在主表中填充的那一列的值。
现在我有 csv 格式的主表,但我不确定如何保存另一个表的数据,我需要根据主表中的两列获取值。
你能帮忙吗?
编辑
更多信息:
在我当前的系统中,我有两个表 A 和 B
表 A
col1 col2 col3
数据1 数据2 数据3
表 B
col1 col2 col3 col4 col5 col6 .......coln
data1 data2 data3 data4 data5 data6 ..........datan
目前正在发生的事情是:
从表 A - col2 和 col3 也出现在表 B 中。
表 A 的 col1 也存在于表 B 中,但值为空。
所以表 B 中 col 8 和 col9 的 col2 和 col3 值用于用表 A 中 col1 的值填充表 B 中的该列。
为了使用 Java 在 Spark 中执行此操作,我为这两个表创建了两个 csv 文件。 (这种方法正确吗?)并将它们加载到数据框中。
现在我不确定如何执行上述操作并更新包含表 B 的数据框。
我希望它澄清。
【问题讨论】:
-
我认为您可能想说明您实际尝试做的事情。即一个小数据样本。创建新列的逻辑
-
@eliasah 我试图详细说明,但我无法分享实际数据,因为它是生产数据,很抱歉造成歧义
-
我还不清楚。哪些列的预期最终值是多少?
-
创建虚拟数据,混淆数据。如果您不向我们提供更多信息,您将无法获得帮助
-
@eliasah 你说得对,我在这个问题中提到了 CSV 文件结构:stackoverflow.com/questions/49936260/…
标签: java apache-spark