【问题标题】：How to dynamically pass ADLS gen2 folder/filename to Databricks Notebook in ADF or Databricks如何将 ADLS gen2 文件夹/文件名动态传递到 ADF 或 Databricks 中的 Databricks Notebook
【发布时间】：2020-08-25 17:13:08
【问题描述】：
我在 ADF 中使用 Databricks Notebook Activity 来转换 ADLS gen2 文件夹中的文件。此文件夹是动态的，每天都会使用 daynumber 创建一个新文件夹。因此，我希望我的 Databricks Notebook Activity 每天动态拾取文件夹名称以处理该文件夹中的文件。
我们可以在 ADF 或 Databricks Notebook Activity 中执行此操作吗？
【问题讨论】：
标签：
azure
azure-data-factory-2
azure-databricks
【解决方案1】：
您是否尝试将动态内容添加到笔记本路径？
我根据tutorial做了一个测试，效果很好：
-
首先，我声明一个参数name。
-
切换到设置选项卡，我将表达式@concat('/adftutorial/',string(dayOfMonth(utcnow()))) 添加到笔记本路径文本中
-
然后我运行调试并在参数中输入/path/filename
-
它将读取我之前指定的动态路径中的文件。
在我的情况下，该文件不存在，因此会弹出一个错误。