Spark（scala）数据框 - 检查列中的字符串是否存在于另一个数据框的列中

Question

我有一个 spark 数据框，我希望检查特定列中的每个字符串是否存在于另一个数据框的预定义列中。 我在Spark (scala) dataframes - Check whether strings in column contain any items from a set 发现了同样的问题

但我想检查列中的字符串是否存在于另一个数据框的列中，而不是列表或集合遵循该问题。谁能帮我！我不知道将列转换为集合或列表，也不知道数据框中的“存在”方法。

我的数据与此类似

df1:

    +---+-----------------+
    | id|      url        |
    +---+-----------------+
    |  1|google.com       |
    |  2|facebook.com     |
    |  3|github.com       |
    |  4|stackoverflow.com|
    +---+-----------------+

df2:

    +-----+------------+
    | id  | urldetail  |
    +-----+------------+
    |  11 |google.com  |
    |  12 |yahoo.com   |
    |  13 |facebook.com|
    |  14 |twitter.com |
    |  15 |youtube.com |
    +-----+------------+

现在，我正在尝试使用比较结果创建第三列，以查看 $"urldetail" 列中的字符串是否存在于 $"url" 中

    +---+------------+-------------+
    | id|  urldetail |   check     | 
    +---+------------+-------------+
    | 11|google.com  |        1    |     
    | 12|yahoo.com   |        0    |
    | 13|facebook.com|        1    |
    | 14|twitter.com |        0    |
    | 15|youtube.com |        0    |
    +---+------------+-------------+

我想使用UDF，但我不知道如何检查字符串是否存在于数据框的列中！请帮我！

Answer 1

我有一个 spark 数据框，我希望检查每个字符串是否在 特定列包含来自预定义 a 的任意数量的单词 另一个数据框的列。

这是方法。使用= 或like

package examples

import org.apache.log4j.Level
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{col, _}

object CompareColumns extends App {
  val logger = org.apache.log4j.Logger.getLogger("org")
  logger.setLevel(Level.WARN)
  val spark = SparkSession.builder()
    .appName(this.getClass.getName)
    .config("spark.master", "local").getOrCreate()

  import spark.implicits._

  val df1 = Seq(

    (1, "google.com"),
    (2, "facebook.com"),
    (3, "github.com"),
    (4, "stackoverflow.com")).toDF("id", "url").as("first")
  df1.show
  val df2 = Seq(
    (11, "google.com"),
    (12, "yahoo.com"),
    (13, "facebook.com"),
    (14, "twitter.com")).toDF("id", "url").as("second")
  df2.show
  val df3 = df2.join(df1, expr("first.url  like  second.url"), "full_outer").select(
    col("first.url")
    , col("first.url").contains(col("second.url")).as("check")).filter("url is not null")
  df3.na.fill(Map("check" -> false))
    .show


}

结果：

+---+------------------+ |编号|网址| +---+------------------+ | 1| google.com| | 2|脸书网| | 3| github.com| | 4|stackoverflow.com| +---+------------------+ +---+------------+ |编号|网址| +---+------------+ | 11| google.com| | 12|雅虎网| | 13|facebook.com| | 14|推特网| +---+------------+ +-----------------+-----+ |网址|检查| +-----------------+-----+ | google.com|是的| |脸书网|是的| | github.com|假| |stackoverflow.com|假| +-----------------+-----+

通过完全外部连接，我们可以实现这一点... 更多详情see my article with all joins here in my linked in post

注意：我使用布尔值代替 0 表示假 1 表示真 这里的条件..您可以将它们翻译成您想要的任何内容...

UPDATE ：如果第二个数据帧中的行增加 你可以使用它，它不会错过任何第二行

val df3 = df2.join(df1, expr("first.url  like  second.url"), "full").select(
    col("second.*")
    , col("first.url").contains(col("second.url")).as("check"))
    .filter("url is not null")
  df3.na.fill(Map("check" -> false))
    .show

---

另外，你可以试试regexp_extract，如下图所示

https://stackoverflow.com/a/53880542/647053

Answer 2

读取您的数据并使用修剪操作只是为了在加入字符串以删除空白时保持保守

val df= Seq((1,"google.com"), (2,"facebook.com"), ( 3,"github.com "), (4,"stackoverflow.com")).toDF("id", "url").select($"id", trim($"url").as("url"))    


val df2   =Seq(( 11 ,"google.com"), (12 ,"yahoo.com"), (13 ,"facebook.com"),(14 ,"twitter.com"),(15,"youtube.com")).toDF( "id" ,"urldetail").select($"id", trim($"urldetail").as("urldetail")) 


df.join(df2.withColumn("flag", lit(1)).drop("id"), (df("url")===df2("urldetail")), "left_outer").withColumn("contains_bool",
    when($"flag"===1, true) otherwise(false)).drop("flag","urldetail").show


+---+-----------------+-------------+
| id|              url|contains_bool|
+---+-----------------+-------------+
|  1|       google.com|         true|
|  2|     facebook.com|         true|
|  3|       github.com|        false|
|  4|stackoverflow.com|        false|
+---+-----------------+-------------+