Datastax Enterprise 5.0.3 Solr 一个节点 CPU 和 I/O 使用率高，而其他节点空闲

Question

我的 Solr 数据中心中的一个 solr ode 导致高 CPU 和高 I/O。在某种程度上，它会影响我对其他 solr 节点的 solr 查询。当我停止节点导致高 cpu 时，我的查询会在正常时间响应。

感谢此链接https://github.com/patric-r/jvmtop 我能够获得该数据。我还看到节点索引某些东西，但 solr 数据中的其他节点没有负载。负载为 0-2，而故障节点的负载为 20。

1273 http-serveripaddress-8983-5 可运行 51.16% 1.87% 3821 http-serveripaddress-8983-14 可运行 50.41% 0.95% 1259 http-serveripaddress-8983-2 可运行 48.68% 2.49% 1295 http-serveripaddress-8983-7 可运行 48.10% 1.87% 3825 http-serveripaddress-8983-18 可运行 14.15% 0.75% 1308 http-serveripaddress-8983-9 可运行 14.13% 4.44% 3486 http-serveripaddress-8983-11 可运行 13.38% 1.04% 1258 http-serveripaddress-8983-1 可运行 12.52% 2.03% 1264 http-serveripaddress-8983-4 可运行 12.07% 1.68% 1296 http-serveripaddress-8983-8 可运行 12.04% 3.75%

    <?xml version="1.0" encoding="UTF-8" standalone="no"?>
<schema name="autoSolrSchema" version="1.5">
<types>
<fieldType class="org.apache.solr.schema.StrField" name="StrField"/>
<fieldType class="org.apache.solr.schema.TrieDoubleField" name="TrieDoubleField"/>
<fieldType class="org.apache.solr.schema.TrieIntField" name="TrieIntField"/>
<fieldType class="org.apache.solr.schema.TrieDateField" name="TrieDateField"/>
<fieldType class="org.apache.solr.schema.TrieLongField" name="TrieLongField"/>
</types>
<fields>
<field indexed="true" multiValued="false" name="st" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="twd" stored="true" type="TrieDoubleField"/>
<field indexed="true" multiValued="false" name="ctr" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="us" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="tsb" stored="true" type="TrieDoubleField"/>
<field indexed="true" multiValued="false" name="btrg" stored="true" type="TrieIntField"/>
<field indexed="true" multiValued="false" name="cty" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="hc" stored="true" type="TrieIntField"/>
<field indexed="true" multiValued="false" name="isp" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="cnt" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="scid" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="cip" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="sid" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="pd" stored="true" type="TrieDateField"/>
<field indexed="true" multiValued="false" name="uid" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="lfn" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="devg" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="str" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="tcc" stored="true" type="TrieLongField"/>
<field indexed="true" multiValued="false" name="strg" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="dev" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="lfs" stored="true" type="StrField"/>
<field indexed="true" multiValued="false" name="cid" stored="true" type="TrieIntField"/>
<field indexed="true" multiValued="false" name="btr" stored="true" type="TrieIntField"/>
</fields>
<uniqueKey>(cid,pd,scid,lfn,lfs,uid,sid,cip,strg,str,st,btrg,btr,hc,us,devg,dev,cnt,ctr,cty,isp)</uniqueKey>
</schema>

Answer 1

我猜您的分区会导致数据出现热点。一个常见的例子是在加载时间序列数据时按天或小时存储数据。最终效果是在存储桶期间一次只使用一个节点。

要查看的另一件事是 max_solr_concurrency_per_core 的值。默认值可能太高——我通常建议将其降至 2——然后逐渐增加，直到服务器达到最大值。就内存、CPU 和磁盘而言，您的服务器硬件规格如何？