ES索引的最大字段数是多少答案

【问题标题】：what is max number of fields for ES indexES索引的最大字段数是多少
【发布时间】：2016-09-01 20:15:33
【问题描述】：

你知道弹性索引的最大可能字段数吗？就我而言，我有超过 200 个来自 fluentd 的配置

format csv
 keys Time,ID,Name,ip,val_1,val_2........,...,.,.,.,.,.,.,.,.,.,.,val_200

但在弹性索引中，我只有 Fields (45) 可见。字段数量是否有限制？还使用了动态映射。

"mappings" : {
    "_default_" : {
      "_all" : {"enabled" : true, "omit_norms" : true},
      "dynamic_templates" : [ {
        "ID" : {
          "match" : "ID",
          "mapping" : {
            "type" : "string", "index" : "not_analyzed"
          }
        }
      },
      {
        "Name" : {
          "match" : "Name",
          "mapping" : {
            "type" : "string", "index" : "not_analyzed"
          }
        }
      },
      {
        "ip" : {
          "match" : "ip",
          "mapping" : {
            "type" : "ip", "index" : "not_analyzed"
          }
        }
      },
      {
        "string_fields" : {
          "match" : "*",
          "mapping" : {
            "type" : "float", "index" : "not_analyzed"
          }
        }
      }],
      "properties" : {
        "@timestamp" : { "type" : "date" }
          }
        }
      }

    }
  }
}

【问题讨论】：

标签： elasticsearch kibana fluentd

【解决方案1】：

由于string_fields 动态映射部分，您的某些值可能被拒绝。它正在尝试映射所有未以其他方式列为float 的字段，因此任何不是数字的字段都将被拒绝。这种映射可能更适合

{
    "_default_": {
        "_all": {
            "enabled": true,
            "omit_norms": true
        },
        "properties": {
            "ID": {
                "type": "string",
                "index": "not_analyzed"
            },
            "Name": {
                "type": "string",
                "index": "not_analyzed"
            },
            "ip": {
                "type": "string",
                "index": "not_analyzed"
            },
            "@timestamp": {
                "type": "date"
            }
        },
        "dynamic_templates": [{
            "other_string": {
                "match_mapping_type": "string",
                "mapping": {
                    "type": "string",
                    "index": "not_analyzed"
                }
            }
        }]
    }
}

不同之处在于您静态匹配的字段被移回属性中，动态模板被更改为仅匹配看起来是字符串的字段，然后应用"index": "not_analyzed" 修饰符。您的原始映射尝试将其用于 float 类型，但 float 值始终存储而无需分析。

【讨论】：

我不同意你的观点，因为所有字段都映射到不是字符串而是通过掩码“”浮动类型，并且它适用于 45 个第一个字段但我总共有 1501 个字段. “string_fields”：{“match”：“”，“mapping”：{“type”：“float”，“index”：“not_analyzed”}

【解决方案2】：

如果我在 td-agent.conf 中更改密钥行

<source>
  @type tail
  path /var/log/123.csv
  pos_file /var/log/td-agent/fluentd.log.pos
  tag spb
  format csv
  keys Time,ID,Name,ip,MemUsageAvg(%),MemUsageMin(%),MemUsageMax(%),MemUsageTot(%),MemUsageCnt(count),CpuUsageAvg(%),CpuUsageMin(%),CpuUsageMax(%),CpuUsageMaxDuration(s),CpuUsageTot(%),CpuUsageCnt(count),DiskUsageAvg(%),DiskUsageMin(%)............................

到->

 keys Time,ID,Name,ip,val_1,val_2,val_3,val_4,val_5,val_6,val_7,val_8,val_9,val_10,val_11,val_12,val_13,val_14,val_15,val_16,val_17,val_18,val_19,val_20,val_21,val_22,val_23,val_24,val_25,val_26,val_27,val_28,val_29,val_30,val_31,val_32,val_33,val_34,val_35,val_36,val_37,val_38,val_39,val_40,val_41,val_42,val_43,val_44,val_45,val_46,val_47,val_48,val_49,val_50,val_51,val_52,val_53,val_54,val_55,val_56,val_57,val_58,val_59,val_60,val_61,val_62,val_63,val_64,val_65,val_66,val_67,val_68,val_69,val_70,val_71,val_72,val_73,val_74,val_75,val_76,val_77,val_78,val_79,val_80,val_81,val_82,val_83,val_84,val_85,val_86,val_87,val_88,val_89,val_90,val_91,val_92,val_93,val_94,val_95,val_96,val_97,val_98,val_99,val_100,val_101,val_102,val_103,val_104,val_105,val_106,val_107,val_108,val_109,val_110,val_111,val_112.....

下一个文件工作正常

 head -1 2016-09-01.csv
2016-09-01,121212,ATS,1.1.1.1, 0.0, 0.0, 518400.0, 0.0, 84.61, 88.71, 2266186.8200000008, 25920.0, 0.0, 7.0, 19.0, 680.0, 231982.0, 25920.0, 0.0, 32.72, 43.64, 1036976.8099999999, 25920.0, 0.0, 6.81, 0.0, 117110.0, 9.2340136E7, 281574.0, 172800.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.31, 0.0, 10263.0, 5.4668023E7, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 84.0, 117110.0, 8640.0, 0.0, 16.0, 10263.0, 8640.0, 1000.0, 0.0, 0.0, 0.0, 0.0, 83.1, 21.14, 8640.0, 8640.0, 1.1806565E7, 101250.0, 8.209024E7, 0.0, 0.0, 1.18539071E8, 101250.0, 7.0656471E7, 0.0, 0.0, 65383.0, 657481.0, 0.0, 18098.44, 0.0, 51515.62, 6650451.0, 6.3647587E7, 0.0, 7497565.0, 1.12485174E8, 397260.0, 0.0, 0.0, 0.0, 7.991577E8, 44749.0, 75331.0, 1305765.0, 466560.0, 466560.0, 0.0, 13392.0, 0.0, 46883.2, 0.0, 73264.0, 9.6827076E7, 5.3476308E7, 7197944.0, 0.0, 18080.0, 5.3341521E7, 1.11585122E8, 0.0, 56624.0, 9.1094716E7, 4665600.0, 4665600.0, 0.0, 0.0, 0.0, 0.0, 0.0, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, 178249.0, 178179.0, 0.0, 0.0, 0.0, 0.0, 0.0, 70.0, 0.0, 0.0, 0.0, 0.0, 0.0, 321859.0, 322417.0, 16340.0, 2978.0, 1632.0, 735.0, 0.0, 0.0, 0.0, 0.0, 10.0, 0.0, 7.0, 880.0, 0.0, 0.0, 21166.0, 0.0, 0.0, 0.0, 195.0, 167464.0, 0.0, 78.0, 3.0, 406.0, 135.0, 0.0, 0.0, 0.0, 4814.0, 0.0, 18.0, 12.0, 29.0, 0.0, 0.0, 15.0, 0.0, 0.0, 0.0, 36.0, 2391600.0, 259194.0, 0.0, 4705696.0, 194335.0, 0.0, 954.0, 5089216.0, 178210.0, 0.0, 941.0, 31529.0, 731.0, 0.0, 0.0, 0.0, 71.0, 0.0, 67.0, 0.0, 46.0, 10.0, 0.0, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, 171968.0, 171821.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 80.0, 66.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 36.0, 36.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3073.0, 6181972.0, 171922.0, 0.0, 0.0, 0.0, 196.0, 167661.0, 0.0, 73.0, 3.0, 297.0, 68.0, 4431.0, 18.0, 0.0, 16.0, 0.0, 173134.0, 173134.0, 1548.0, 1546.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 28.0, 28.0, 0.0, 0.0, 0.0, 117.0, 0.0, 50.0, 56.0, 11.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8.22691E8, 101250.0, 0.0, 8.22691E8, 911250.0, 0.0, 37.0, 2388627.0, 2332746.0, 15859.0, 15859.0, 15856.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 47577.0, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, 15209.0, 15209.0, 15194.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 15.0, 0.0, 45627.0, 16158.0, 16158.0, 16118.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 19.0, 0.0, 1.0, 0.0, 0.0, 0.0, 20.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1195.0, 956082.0, 15815.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2579.0, 1046099.0, 16100.0, 31915.0, 11470.0, 11470.0, 11462.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 7.0, 0.0, 18965.0, 18965.0, 18955.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8.0, 0.0, 56895.0, 633.0, 633.0, 633.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1899.0, 30803.0, 30803.0, 30785.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 15.0, 0.0, 265.0, 265.0, 265.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 64.0, 368780.0, 11472.0, 0.0, 0.0, 34.0, 141183.0, 11472.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 80.0, 686879.0, 19601.0, 0.0, 0.0, 34.0, 369616.0, 19601.0, 0.0, 0.0, -, -, -, -, -, -, -, -, -, -, -, -, 2213.0, 2213.0, 2194.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 18.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4372.0, 4372.0, 4372.0, 25.0, 25.0, 25.0, -, -, -, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 21166.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4372.0, 0.0, 0.0, 0.0, 0.0, 27.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 14.0, 0.0, 400.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 18.0, 70.0, 57.0, 10.0, 40.0, 28.0, 0.0, 3.0, 19.0, 0.0, 29.0, 0.0, 0.0, 18.0, 0.0, 15.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 167464.0, 73.0, 71.0, 0.0, 0.0, 80.0, 0.0, 12.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 646.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 124.0, 0.0, 0.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 141.0, 5.0, 25.0, 30.0, 281.0, 2.0, 14.0, 50.0, 0.0, 409.0, 957.0, 0.0, 0.0, 0.0, 1.0, 33.0, 0.0, 0.0, 34.0, 0.0, 0.0, 0.0, 0.0, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, 0.0, 3.4562171E7, 518400.0, 0.0, 2.7457228E7, 518400.0, 0.0, 89000.80000000005, 911250.0, 0.0, 49756.80000000001, 911250.0, 0.0, 2692968.980000002, 466560.0, 0.0, 0.0, 77760.0, 0.0, 0.0, 466560.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 465425.20000000036, 466560.0, -, -, -, 0.0, 969010.0599999999, 911250.0, 0.0, 209870.41999999972, 911250.0, 0.0, 2.18, 99.8, 1297554.9800000004, 101250.0, 0.0, 0.0, 0.0, 0.0, 101250.0, 0.0, 0.0, 97.42, 969010.0599999997, 101250.0, 0.0, 0.0, 87.28, 294825.55000000005, 101250.0, 0.0, 0.0, 0.0, 0.0, 101250.0, 0.0, 0.0, 86.05, 209870.4199999998, 101250.0, 0.0, 2.073620448E9, 1.944E10, 0.0, 4.55680846E8, 0.0, 8997925.0, 1.944E10, 0.0, 0.0, 0.0, -, -, -, -, -, -, -, -, -, -, -, -, -, -, 178179.0, 178164.0, 0.0, 0.0, 0.0, 0.0, 15.0, 0.0, 8363.0, 8245821.0, 178195.0, 0.0, 569427.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, -1.1883578969999995E7, 101250.0, 0.0, -1.0500438930000005E7, 101250.0, 0.0, -1.0475355269999994E7, 101250.0, 0.0, -1.0473666970000004E7, 101250.0, 0.0, -1.0477101380000003E7, 101250.0, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, 35278.0, 56.0, 169954.0, -, 0.0, 42158.69999999996, 101250.0, 0.0, 0.0, 150782.0, 6234.0, 636.0, 200.0, 95.0, 72.0, 44.0, 24.0, 45.0, 0.0, 25375.0, 158132.0, 158132.0, 1.01276873E8, 1.1758275E7, 1083456.0, 525284.0, 340176.0, 9.6877171E7, 7336077.0, 2140061.0, 1771637.0, 1381854.0, 10236.0, 8367.0, 6132.0, 88.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1132482.0, 0.0, 3.0, 0.0, 0.0, 7.0, 0.0, 284.96000000000026, 866.3499999999999, 0.0, 1.3718317E7, 1.14643888E8, 0.0, 1.7871745E7, 1.09531623E8, 862708.0, 330977.0, 416102.0, 644295.0, 814428.0, 1037076.0, 1130147.0, 1693993.0, 1621765.0, 2811543.0, 0.0, 1741465.0, 2939982.0, 4317681.0, 4428797.0, 6101725.0, 6310079.0, 0.0, 5985935.0, 7932828.0, 6637246.0, 6764140.0, 6252130.0, 7412296.0, 5904253.0, 4261954.0, 4202365.0, 1.2167622E7, 9920356.0, 0.0, 0.0, 0.0, 742075.0, 23288.0, 30855.0, 48177.0, 72886.0, 241449.0, 747949.0, 1131731.0, 2763532.0, 3288526.0, 3974298.0, 4317564.0, 4919386.0, 4415081.0, 3331288.0, 4906623.0, 0.0, 15.0, 0.0, 225.0, 15945.0, 23178.0, 40897.0, 26498.0, 29836.0, 5525.0, 6694.0, 5671.0, 2325.0, 3709.0, 7419.0, 6931.0, 3035.0, 382.0, 263.0, 43.0, 13.0, 9.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 19974.0, 0.0, 0.0, 16153.0, 13616.0, 2531.0, 0.0, 5.0, 1.0, 0.0, 0.0, 0.0, 12787.0, 2658.0, 563.0, 0.0, 140.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 473.0, 444.0, 18.0, 0.0, 0.0, 273.78, 101250.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4095842.0, 101250.0, 2426007.0, 0.0, 0.0, 0.0, 0.0, 0.0, 35518.75, 0.0, 0.0, 0.0, 0.0, 0.0, 444137.0, 101250.0, 246991.0, 0.0, 0.0, 0.0, 0.0, 0.0, 11546.88, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, 0.0, 0.0, 0.0, 178179.0, 178249.0, 178164.0, 178179.0, 171821.0, 171968.0, 0.0, 36.0, 36.0, 0.0, 0.0, 117.0, 8.22691E8, 0.0, 0.0, 7.991577E8, 44749.0, 465425.20000000036, 466560.0, 0.0, 15859.0, 15856.0, 15859.0, 0.0, 15209.0, 15194.0, 15209.0, 0.0, 16158.0, 16118.0, 16158.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, -, 2213.0, 2194.0, 2213.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 15194.0, 15209.0, 52474.920000000006, 16158.0, 16118.0, 16158.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, -, -, -, -, -, -, 0.0, 0.0, 26519.0, 145089.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, -, -, -, -, -, -, -, -, -

为什么？命名问题？
命名限制是什么？

【讨论】：

或者elasticsearch的限制……或者kibana？
我需要查看示例文档以提供进一步帮助。

【解决方案3】：

float 类型的同一索引中的 1501 字段 - 对 EL 没有问题。

附：我的问题是传入数据的科学记数法 - EL 忽略这种文件

【讨论】：