Logstash 天蓝色插件答案

【问题标题】：Logstash azure pluginLogstash 天蓝色插件
【发布时间】：2020-05-28 19:53:31
【问题描述】：

我对 Logstash 很陌生，我有点不知道如何做这部分。

我从 azure blob 容器中复制了日志，并且能够通过 logstash 进行解析并将记录放在我本地机器上的弹性搜索中。现在我想更改输入，而不是文件，而是直接从 azure blob 存储中获取日志。我找了插件，但没有找到 azure 的任何东西。

我希望我可以在输入中做这样的事情。任何想法如何得到这个？

input {
  azureblob {
    storage_name => "abcd"
    storage_key => "key"
    container => "logLocation"
  }
}

【问题讨论】：

标签： azure elasticsearch logstash azure-blob-storage iis-logs

【解决方案1】：

在玩耍并阅读了一堆东西之后，我让它在我的本地 Windows 机器上运行。

安装红宝石。安装 jruby。命令行 -> gem install bundle.

以上是构建宝石所需要的

然后我得到了这些文件。 https://github.com/juliusl/logstash-input-azurewadtable/tree/0.9.2

将 lib/logstash/inputs/azurewadtable.rb 替换为 https://github.com/mspnp/semantic-logging/blob/elk/ELK/logstash-extension/inputs/azureblob.rb

将所有文件中的所有位置都替换为 azurewadtable 和 azureblob。

通过命令行 gem install "localtion_Of_gemSpec" 这将为您提供 gem 文件。

Logstash\bin\plugin 安装“location_of_gem_file” Logstash\bin\plugin install --no-verify

验证几件事： Logstash\gemfile 有这个条目并且 Logstash\vendor\local_gems 有文件

设置配置：

input {
  azureblob {
    storage_account_name => "STORAGE ACCOUNT NAME"
    storage_access_key => "STORAGE ACCESS KEY"
    container => "CONTAINER NAME"
  }

}

Logstash/bin/logstash -f "location_of_conf_File"

它有效:)

【讨论】：

嗨@Dhrumil 我可以使用这个logstash输入配置将数据内容从azure blob存储发送到ES，即使blob中存在的数据不是JSON格式吗？

【解决方案2】：

我在使用 lostash-input-azureblob 插件获取 azure 日志并将它们发送到所需位置时遇到问题。在 github 上仍然存在未解决的问题：https://github.com/Azure/azure-diagnostics-tools/issues/170
我找到了一种解决方法，在最新版本 0.9.13 中缺少一些可以从版本 0.9.12 下载的文件，请按照以下说明操作详细说明链接：
https://github.com/Azure/azure-diagnostics-tools/issues/170#issuecomment-635286539

【讨论】：

几年前我切换到 lostash-input-azure_blob_storage，因为我注意到摄取会停止一段时间，因此它不会处理我的所有文件。 azureblob 似乎不再受支持