定期将大数据 (json) 导入 Firebase

Question

我们必须定期更新 firebase 中的大量数据（约 5 条 Mio 记录）。目前我们有一些大小约为 1 GB 的 json 文件。

由于现有的第三方解决方案（here 和 here）存在一些可靠性问题（每个对象导入对象；或需要开放连接），并且与谷歌云平台生态系统完全脱节。我想知道现在是否有一种“官方”方式使用即新的谷歌云功能？或与 app engine / google cloud storage / google cloud datastore 结合使用。

我真的很喜欢不处理身份验证——云功能似乎处理得很好，但我认为该功能会超时 (?)

使用新的 firebase 工具，如何：

1. 是否有长时间运行的云功能来进行数据提取/插入？ （有意义吗？）
2. 将 json 文件导入和从谷歌云平台内部的某处获取？
3. 首先将大数据放入 google-cloud-datastore 是否有意义（即太贵而无法存储在 firebase 中），还是可以将 firebase 实时数据库可靠地用作大数据存储。

Answer 1

我终于发布了答案，因为它与 2017 年的新 Google Cloud Platform 工具保持一致。

新推出的 Google Cloud Functions 的运行时间有限，约为 9 分钟 (540 seconds)。但是，云函数能够像这样从云存储创建 node.js 读取流 (@googlecloud/storage on npm)

var gcs = require('@google-cloud/storage')({
// You don't need extra authentication when running the function
// online in the same project
  projectId: 'grape-spaceship-123',
  keyFilename: '/path/to/keyfile.json'
});

// Reference an existing bucket. 
var bucket = gcs.bucket('json-upload-bucket');

var remoteReadStream = bucket.file('superlarge.json').createReadStream();

即使是远程流，它也非常高效。在测试中，我能够在 4 分钟内解析大于 3 GB 的 json，进行简单的 json 转换。

由于我们现在使用的是 node.js 流，任何 JSONStream 库都可以有效地动态转换数据 (JSONStream on npm)，像处理带有事件流的大型数组 (event-stream on npm) 一样异步处理数据。

es = require('event-stream')

remoteReadStream.pipe(JSONStream.parse('objects.*'))
  .pipe(es.map(function (data, callback(err, data)) {
    console.error(data)
    // Insert Data into Firebase.
    callback(null, data) // ! Return data if you want to make further transformations.
  }))

在管道末尾的回调中仅返回 null 以防止内存泄漏阻塞整个函数。

如果您进行需要较长运行时间的较重的转换，请在 firebase 中使用“job db”来跟踪您所在的位置，并且只进行 100.000 次转换并再次调用该函数，或者设置一个额外的函数来监听on 插入“forimport db”，最终将原始 jsons 对象记录异步转换为目标格式和生产系统。拆分导入和计算。

此外，您可以在 nodejs 应用引擎中运行云函数代码。但不一定反过来。