读取 Azure Data Lake Store 中文件的元数据答案

【问题标题】：Read Meta Data of files inside Azure Data Lake Store读取 Azure Data Lake Store 中文件的元数据
【发布时间】：2018-05-03 02:07:06
【问题描述】：

需要读取存储在 Azure Data Lake Store 中的文件的元数据。

文件可以是 JPEG、EXCEL 或 TIFF 格式

请指教，真的在寻找建议。我正在使用 Microsoft Azure Data Lake Store 和 USQL。

【问题讨论】：

您的问题太含糊，人们无法提供帮助。请添加更多详细信息，您尝试阅读的示例，您编写的源代码。您可以通过单击编辑链接来编辑您的问题。
什么类型的元数据？ JPEG中的EXIF数据？文件的创建日期？你打算用它做什么？在 U-SQL 脚本中使用它？在应用程序中？
@tom 嗨，Tom，我需要检索 JPEG、TIFF 图像的元数据以用于数据分析。你能在这里帮忙吗？
@MichaelRys 我将用于数据分析。你能告诉我如何检索元数据吗？我真的需要帮助。

标签： c# azure azure-data-lake u-sql

【解决方案1】：

目前不支持。根据the feedback site看来是在积压

您也许可以按照链接中的建议编写自定义提取器：

如果它可用，例如 JPEG 中的 EXIF - 使用自定义提取器从内容中提取一些属性。

根据this blogpost 他们已经完成了图像属性提取，请参阅the repo。它可以作为如何为您的场景实现此功能的指南。这是example query

@image_features =
    EXTRACT copyright string, 
            equipment_make string,
            equipment_model string,
            description string,
            thumbnail byte[], 
            name string, format string
    FROM @"/Samples/Data/Images/{name}.{format}"

    USING new Images.ImageFeatureExtractor(scaleWidth: 500, scaleHeight: 300);

@image_features = SELECT * FROM @image_features
                  WHERE format IN("JPEG", "jpeg", "jpg", "JPG");

OUTPUT @image_features
TO @"/output/images/image_features.csv"
USING Outputters.Csv();

或者让另一个进程提取这些属性并将它们放入 Azure Data Lake 中的某个元数据文件中，以便您可以加入该文件。

【讨论】：

您能帮我提供自定义提取器的代码吗？我很难处理这样的事情，但我做不到。
对不起，这有点超出范围，你可以谷歌如何创建自定义提取器，他们也有一些例子here。
那么，对于每种格式，不同的提取器需要在代码中编写吗？我的理解正确吗？
如果您可以共享 Tiff 或 JPEG 格式的提取器，那就太好了。会很有帮助的。
但我做到了，请参阅我的答案中的链接。