【问题标题】:Log4j / Slf4j Logging to BigQueryLog4j / Slf4j 记录到 BigQuery
【发布时间】:2018-07-10 01:21:01
【问题描述】:

我在 Java 项目中使用 Log4J,并希望将我的日志异步流式传输到 BigQuery。我做了一些研究,但真的找不到这样做的好方法。尽管如此,我认为很多人都这样做(我知道有些人使用不同的语言这样做)。

请注意,我发现了一些几年前未维护的代码,但似乎没有维护,我会考虑在生产项目中使用。异步部分对我来说也很重要,它应该是非阻塞的。

是否有图书馆或一些最佳实践可以正确地做到这一点?

【问题讨论】:

  • 你看过这个吗? fluentd.org
  • @GrahamPolley 感谢您向我暗示 fluentd,它看起来很有趣,但是他们的 Java 实现看起来有点奇怪,并且似乎与 Log4j 或 Slf4j 不兼容。出于某种原因,它们还要求您在计算机上本地安装客户端才能工作。两者都是我不使用它的原因,但谢谢:)。

标签: java google-bigquery google-cloud-platform


【解决方案1】:

一种解决方案是使用Stackdriver Logging 的Java 客户端库。然后你可以export你的日志到BigQuery

【讨论】:

  • Stackdriver Logging:“适用于在 Google Cloud Platform 和 Amazon Web Services 上运行的应用程序。”。我既不是托管在 GCP 也不是 AWS,但感谢您提供的链接 :)。
  • 我不完全确定为什么在产品概述中以这种方式放置。例如,您可以进入 Stackdriver Logging Client Libraries page 并从任何地方运行示例代码。这可以在您的本地机器上正常工作,您不需要在 Google Cloud Platform VM 上或在 App Engine 应用程序中运行。
  • 这有点奇怪,对于 AWS:Note: To use the Logging agent with Amazon EC2 VM instances, you must link your AWS account to a Stackdriver account with Premium Tier service. For more information, see Stackdriver Pricing.。您确定这适用于任何服务器吗? (来源:cloud.google.com/logging/docs/agent/installation
猜你喜欢
  • 2012-10-08
  • 1970-01-01
  • 2021-01-22
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-10-07
  • 1970-01-01
相关资源
最近更新 更多