【问题标题】:Is it possible to catalog data inside csv files inside Azure Blob Storage using Azure Data Catalog?是否可以使用 Azure 数据目录对 Azure Blob 存储中的 csv 文件中的数据进行编目?
【发布时间】:2021-06-28 12:57:29
【问题描述】:

我想对存储在 Azure Blob 存储中的 csv 文件中的数据进行编目。我试图查看是否有获取 Blob 存储元数据的方法,发现数据目录是一个选项。问题是,csv 文件作为 blob 类型处理,我们无法对其进行分析。我希望将 blob 存储中的 csv 文件用作表格。

这是否可以使用 Azure 数据目录?

【问题讨论】:

    标签: metadata azure-blob-storage catalog


    【解决方案1】:

    是的,您可以使用数据目录,对于更新的数据目录功能,请使用新的 Azure Purview 服务,该服务为您的整个数据资产提供统一的数据治理。我建议使用:Azure Purview(您仍然可以通过数据目录)

    从数据源注册资产会将资产的元数据复制到 Azure,但数据仍保留在现有数据源位置。

    有关更新的数据目录功能,请使用新的 Azure Purview 服务,该服务为您的整个数据资产提供统一的数据治理。 Azure Purview 简介(预览版)- Azure Purview 本文概述了 Azure Purview,包括其功能和解决的问题。 Azure Purview 使任何用户都可以注册、发现、理解和使用数据源。

    This article outlines how to register an Azure Blob Storage account in Purview and set up a scan.

    • 有关Blob 索引标记的详细信息,请使用键值标记属性对存储帐户中的数据进行分类。这些标签会自动编入索引并作为可搜索的多维索引公开,以便轻松查找数据。本文介绍如何使用 blob 索引标签设置、获取和查找数据。 Use blob index tags to manage and find data on Azure Blob Storage

    【讨论】:

    • 除此选项外,我们是否没有其他方法可以获取所有 CSV 文件中的数据目录并使用获得的目录信息对数据进行查询?以 AWS 为例,S3 可以存储不同的 CSV 文件,我们使用 GLUE 和 Athena 服务来获取 CSV 文件的目录,并从获取的目录信息中查询数据。在 Azure 中,是否没有办法使用现有服务读取 CSV 文件中的数据,而无需在本地环境中下载它们?您提到的解决方案是自定义解决方案
    • Azure 权限不能解决我的问题,我需要分析 csv 中的数据。
    猜你喜欢
    • 2021-04-20
    • 1970-01-01
    • 1970-01-01
    • 2020-06-04
    • 1970-01-01
    • 2019-11-27
    • 2018-04-13
    • 2012-12-29
    • 2017-12-20
    相关资源
    最近更新 更多