如何从 Azure Data Lake Gen2 访问 XML 文件并将其转换为 Azure Databricks 中的数据框？

Question

我们需要访问位于 Azure Data Lake Gen2 中的 XML 文件并将其转换为如下所示的数据帧。

示例 XML 数据：

<SOAP-ENV:Envelope
   xmlns:SOAP-ENV="http://schemas.xmlsoap.org/soap/envelope/">

<SOAP-ENV:Body>
           <ns2:getProjectsResponse
               xmlns:ns2="http://www.logic8.com/eq/webservices/generated">
               <ns2:Project>
                   <ns2:fileName>P10001</ns2:fileName>
                   <ns2:alias>project1</ns2:alias>
               </ns2:Project>
               <ns2:Project>
                   <ns2:fileName>P10002</ns2:fileName>
                   <ns2:alias>project2</ns2:alias>
               </ns2:Project>
       <ns2:Project>
                   <ns2:fileName>P10003</ns2:fileName>
                   <ns2:alias>project3</ns2:alias>
               </ns2:Project>
           </ns2:getProjectsResponse>
       </SOAP-ENV:Body>
   </SOAP-ENV:Envelope>

预期的数据框输出：

谁能帮帮我。

Answer 1

首先，您需要学习从 Azure Data Lake Gen2 读取数据到 Azure databricks。

你可以学习很多教程：

1. Databricks: Importing data from a Blob storage。本博文介绍将数据从 Blob 存储导入 Azure 数据块。
2. Databricks Azure Blob Storage：这篇文章解释了如何 通过使用 DBFS 挂载存储或直接访问 Azure Blob 存储 使用 API。

其次，关于xml数据类型，您需要使用@Axel R在评论中提供的databricks spark-xml library。

1. 将 spark-xml 库导入您的工作区 https://docs.databricks.com/user-guide/libraries.html#create-a-library （在 maven/spark 包部分搜索 spark-xml 并导入）
2. 将库附加到您的集群 https://docs.databricks.com/user-guide/libraries.html#attach-a-library-to-a-cluster
3. 在笔记本中使用以下代码读取 xml 文件，其中 "note" 是 xml 文件的根目录。

xmldata = spark.read.format('xml').option("rootTag","note").load('dbfs:/mnt/mydatafolder/xmls/note.xml')

请参考：How can I read a XML file Azure Databricks Spark.

结合这些文件，我想你可以找出你的问题。我对 Azure Databricks 了解不多，很抱歉无法为您测试。

希望这会有所帮助。