opensearch 索引模式、别名和 fluentd 索引名称的问题

Question

我有一个 opensearch 集群，它从 fluentd 接收日志。现在我想应用 ISM 策略在索引达到特定阈值时滚动我的索引。

我正在按照此文档创建 ISM 策略 https://opensearch.org/docs/latest/im-plugin/ism/policies/#sample-policy-with-ism-template-for-auto-rollover。

当前的配置是这样的——

1. fluentd 将所有日志发送到特定索引模式，如“mylogs-k8s-namespace”，因此如果有 10 个命名空间，我将创建 10 个索引。

   logstash_format false
   index_name mylogs-${record['kubernetes']['namespace_name']}
   

   2. 接下来，我创建了一个包含翻转条件的 ISM 策略-

   PUT _plugins/_ism/policies/rollover_policy
   {
     "policy": {
       "description": "Example rollover policy.",
       "default_state": "rollover",
       "states": [
         {
           "name": "rollover",
           "actions": [
             {
               "rollover": {
                 "min_size": "10mb"
               }
             }
           ],
           "transitions": []
         }
       ],
       "ism_template": {
         "index_patterns": ["mylogs-kube-system*"],
         "priority": 100
       }
     }
   }
   

   3. 然后我创建了一个模板，它将此策略应用于所有新索引。

   PUT _index_template/ism_rollover
   {
     "index_patterns": ["mylogs-kube-system*"],
     "template": {
      "settings": {
       "plugins.index_state_management.rollover_alias": "mylogs-kube-system"
      }
    }
   }
   

   4. 根据文档，下一步是使用上述别名创建索引

   PUT mylogs-kube-system-000001
   {
     "aliases": {
       "mylogs-kube-system": {
         "is_write_index": true
       }
     }
   }
   
   

   现在问题来了——

   如果 fluentd 已经开始将日志推送到我的索引“mylogs-kube-system”，那么上述步骤 (4) 将不起作用。它给出了一个错误，同名的索引已经存在。

   这是有道理的，因为 fluentd 已经开始推送日志，我们不能有同名的别名、索引或流。

   为了克服这个问题，我必须停止流利，删除索引“mylogs-kube-system，在这种情况下" 然后首先应用策略和别名（步骤 1 到 4），然后再次启动 fluentd。这样它工作正常并且发生翻转。

   但是，据我所知，这不是一个好的解决方案，我们不能在每次添加新命名空间时都停止我们的流利。我正在寻找一个具体的解决方案来完成这项工作。

   我尝试过以下事情但没有运气 -

   1. 将 fluentd（第 1 步）中的索引名称更改为带日期的 logstash_prefix，但是日志继续添加到新索引 (mylogs-kube-system-27052022) 等中，但不会发生翻转。

   2. 尝试通过将 fluentd 中的索引名称更改为 mylogs-k8s-namespace-000001 但它永远只将日志发送到该索引。

      我可以在这里得出的结论是，我们必须保持我们的索引名称和别名不同，但是这样做，fluentd 会停止发送日志来更正别名，我们开始面临翻转问题。

Answer 1

尝试使用数据流而不是简单的模板

PUT _index_template/log
{
  "index_patterns": [
    "log-*"
  ],
  "data_stream": {}
}