【问题标题】:Using Python to send twitter data directly to Google Cloud data storage使用 Python 将 Twitter 数据直接发送到 Google Cloud 数据存储
【发布时间】:2019-04-12 00:20:11
【问题描述】:

如何将数据从 Twitter 直接发送到 Google Cloud 数据存储。想跳过首先将其下载到我的本地计算机然后将其上传到云端的步骤。它会运行一次。不是在寻找完整的代码,而是寻找某人可能从中学到的任何指针或教程。使用 python 与 google-cloud 和 storage 交互。

任何帮助将不胜感激。

【问题讨论】:

  • 您的用例是什么?您是否需要不断流式传输信息,或者只是在运行脚本时检索它,仅此而已?你都尝试了些什么?直接询问代码或“为我做这个”之类的东西在 StackOverflow 上往往不太顺利。我建议从 SO 帮助中心阅读 How do I ask a good question?
  • 现在稍微修改了一下。但是寻找更多可以提供帮助的指针/教程。谷歌文档经常令人困惑且非常笼统。
  • 嘿马格努斯,你是说你不想下载到你的机器上,但需要运行你的逻辑。 Cloud Storage 只存储数据,而 Twitter 没有数据导出功能,只有一个 API(您必须针对它进行编程)。

标签: python google-cloud-platform google-cloud-datastore data-storage


【解决方案1】:

Here's a blog post 描述了以下架构:

  • 在 Compute Engine 上运行 Python 脚本
  • 将数据移至 BigQuery 进行存储

Here's another one 描述了一个更复杂的架构,包括分析推文的能力:

  • 使用 Google Cloud Dataflow 模板
  • 从 Google App Engine (GAE) 应用启动 Dataflow 管道
  • 为了支持 MapReduce 作业

【讨论】:

    猜你喜欢
    • 2020-09-24
    • 2021-01-07
    • 1970-01-01
    • 2021-04-29
    • 2019-07-14
    • 2012-12-31
    • 1970-01-01
    • 2020-02-26
    • 1970-01-01
    相关资源
    最近更新 更多