基于火花数据帧中的键值过滤

【问题标题】：Filtering based on Key Value in spark dataframe基于火花数据帧中的键值过滤
【发布时间】：2023-03-29 08:52:01
【问题描述】：

我的数据库/数据框中有一列是键值对。我想根据某个值过滤数据。只说键 'ddd' 的值为 'DDD' 的那些行。如何在 spark/spark sql 中实现这一点？

"{'aaa': 'AAA', 'bbb': 'BBB', 'ccc': 'CCC', 'ddd': 'DDD', 'eee': 'EEE', 'fff': 'FFF', 'ggg': 'GGG'}"
 "{'aaa': 'AAA1', 'bbb': 'BBB1', 'ccc': 'CCC1', 'ddd': 'DDD1', 'eee': 'EEE1', 'fff': 'FFF1', 'ggg': 'GGG1'}"

【问题讨论】：

标签： apache-spark apache-spark-sql spark-dataframe

【解决方案1】：

我们可以像下面这样使用过滤器功能

     DataFrame inputDf= //read from database

     DataFrame filteredDf=inputDf.filter("ddd='DDD'");

【讨论】：

我用下面的方法得到了这个。有什么更好的我可以使用的吗？val filtersRdd = textFileDF.map(line => line.getAs[String]("colname")).filter(line => line.contains("ddd':'DDD"))跨度>
@SandeepShetty：那是 DF 方法，你的是 rdd 方法。如果他们正在工作，两者都会更好:-)