数据持久化到原始数据源

Question

谁能告诉我以下用例是否有意义并且适用于摄入软件组件。

我们喜欢使用intake来构建抽象层或API服务端点来封装典型的数据操作，例如数据检索和数据持久化回原始数据系统。简而言之，从 GCP BigQuery 等 DB 系统构建 read() 和 save()。

Answer 1

Intake 提供有限的写入功能（目前）：对于每种数据容器类型，仅支持一种格式，用于“持久”（本地存储）和“导出”（或上传）功能。您的 bigquery 数据可能类似于数据框，所以这将是镶木地板。我相信您可以简单地保存到 GCS，然后对这些文件运行 bigquery，但我不知道您是怎么做的。

没有一种将数据写入任何支持读取的后端的通用方法。