在pyspark中删除所有包含一个字母的行[重复]

Question

pyspark 2.3.1

我到col1 的行应该只包含整数。我正在尝试过滤掉任何包含一个字符的行。如何在 pyspark 中做到这一点？

我试过了

df.select('col1').filter(df.col1.rlike(^[a-zA-Z])) 

但是，包含字母的行也包含整数，因此不会被过滤。

我该怎么做？

Answer 1

您可以尝试选择纯数字行。

df = df.filter('col1 rlike "^[0-9]+$"')
df.show(truncate=False)