【发布时间】:2021-09-02 04:17:25
【问题描述】:
Pyspark: Split and select part of the string column values
如何从 spark DF 的列中选择第 4 个(左起)反斜杠之后的字符或文件路径?
pyspark 列的示例行:
\\D\Dev\johnny\Desktop\TEST
\\D\Dev\matt\Desktop\TEST\NEW
\\D\Dev\matt\Desktop\TEST\OLD\TEST
\\E\dev\peter\Desktop\RUN\SUBFOLDER\New
\\K924\prod\ums\Desktop\RUN\SUBFOLDER\New
\\LE345\jskx\rfk\Desktop\RUN\SUBFOLDER\New
.
.
.
\\ls53\f7sn3\vso\hsk\mwq\sdsf\kse
预期输出
johnny\Desktop\TEST
matt\Desktop\TEST\NEW
matt\Desktop\TEST\OLD\TEST
peter\Desktop\RUN\SUBFOLDER\New
ums\Desktop\RUN\SUBFOLDER\New
rfk\Desktop\RUN\SUBFOLDER\New
.
.
.
vso\hsk\mwq\sdsf\kse
我之前的question 导致了这个新问题。 感谢任何帮助。
【问题讨论】:
标签: python dataframe pyspark apache-spark-sql