Azure 流分析中的 CSV 参考数据答案

【问题标题】：CSV reference data in Azure Stream AnalyticsAzure 流分析中的 CSV 参考数据
【发布时间】：2017-06-07 07:36:49
【问题描述】：

我有一个流分析应用程序，其中的事件是 JSON 编码的，看起来像这样

{customerID: 45, state:"S2" , timestamp:"2017-06-06 14:19:21.77"}
{customerID: 74, state:"S2" , timestamp:"2017-06-06 14:19:26.61"}
{customerID: 79, state:"S2" , timestamp:"2017-06-06 14:19:28.50"}
{customerID: 10, state:"D" , timestamp:"2017-06-06 14:19:31.79"}
{customerID: 70, state:"S2" , timestamp:"2017-06-06 14:19:31.93"}
{customerID: 37, state:"S2" , timestamp:"2017-06-06 14:19:32.17"}
{customerID: 41, state:"D" , timestamp:"2017-06-06 14:19:33.48"}

我有一个 CSV 文件中的客户参考数据，如下所示：

"CUST_ID", "Age", "Rich"
1, "50", "Y"
2, "22", "N"

我以上述格式加载数据文件并测试以下查询

select A.[CUSTOMERID], A.[state], B.[AGE], B.[GENDER_CODE] from clickstream A timestamp by A.[TIMESTAMP] left join refdata B on A.[CUSTOMERID]=B.[CUST_ID]

我收到以下没有详细信息的错误消息：

现在，如果将数据引用数据表示为 JSON，则相同的查询可以完美运行。有没有我可以查看 CSV 参考数据的工作示例？

【问题讨论】：

标签： azure azure-stream-analytics

【解决方案1】：

我在 CSV 文件中有客户的参考数据

当我们create input 时，我们需要指定事件序列化格式，让流分析知道我们正在使用哪种序列化格式（JSON、CSV 或 Avro）对于传入的数据流。请检查您的输入 refdata 的事件序列化格式，并确保它是否设置为 CSV。

【讨论】：

感谢您的回复。我检查了一下，它确实设置为 CSV。您是否能够使用 CSV 参考数据成功测试作业？我什至无法获得成功测试的最低工作示例。

【解决方案2】：

我在流分析方面遇到了同样的问题。

仅供参考，将 .csv 文件转换为 .json 文件（例如使用在线工具），并将参考数据序列化格式更改为 JSON 即可解决问题。现在我可以通过 Azure 门户查询工具提交 json 文件来测试查询。似乎流分析的 CSV 实现是错误的，因为我确信我的 csv 格式正确。

【讨论】：

【解决方案3】：

带有参考数据的“测试”按钮根本不适合我。我不得不使用 Visual Studio 的 Azure Stream 分析工具在本地环境中对其进行测试。

关于路径模式的错误。我使用了YYYY-MM-DD，默认情况下流分析使用YYYY/MM/DD。当作业运行时，我在流分析仪表板的输入旁边看到了一个感叹号。

要调试错误，您应该单击流分析概览中的参考数据输入，您应该会在其刀片上看到警告。

我的警告是这样的： Initializing input without a valid reference data blob for UTC time 11/14/2017 12:22:32 PM, example path: 'https://blabla.blob.core.windows.net/cohorts/2017/11/14/12-22/result.csv'

【讨论】：