Datastax 5.0.3 Solr 节点在启动时卡住了 SecondaryIndexManagement答案

【问题标题】：Datastax 5.0.3 Solr Node Stucks SecondaryIndexManagement While Being StartedDatastax 5.0.3 Solr 节点在启动时卡住了 SecondaryIndexManagement
【发布时间】：2017-02-19 22:04:00
【问题描述】：

当我尝试重新启动 datastax solr 节点时，它没有启动。没有负载，没有磁盘 io。当我运行 nodetool tpstats 时，我看到二级索引管理任务挂起。我还检查了 solr http api 中的 solr cores。我看到我的一些核心丢失了。有人可以帮帮我吗？

池名称 Active Pending Completed Blocked All time Blocked 突变阶段 0 0 430 0 0 视图突变阶段 0 0 0 0 0 读取阶段 0 0 65 0 0 请求响应阶段 0 0 268 0 0 读取修复阶段 0 0 5 0 0 反突变阶段 0 0 0 0 0 杂项阶段 0 0 0 0 0 压实执行器 0 0 157 0 0 MemtableReclaimMemory 0 0 49 0 0 待定范围计算器 0 0 36 0 0 八卦舞台 0 0 19440 0 0 二级索引管理 1 3 6 0 0 提示调度程序 0 0 0 0 0 迁移阶段 0 0 0 0 0 MemtablePostFlush 0 0 49 0 0 验证执行器 0 0 0 0 0 采样器 0 0 0 0 0 MemtableFlushWriter 0 0 49 0 0 内部响应阶段 0 0 0 0 0 反熵阶段 0 0 0 0 0 缓存清理执行器 0 0 0 0 0 消息类型已删除读 0 RANGE_SLICE 0 _跟踪 0 提示 0 突变 0 计数器突变 0 BATCH_STORE 0 BATCH_REMOVE 0 请求响应 0 PAGED_RANGE 0 READ_REPAIR 0

【问题讨论】：

感谢您发布tpstats 的输出，您还可以包括nodetool compactionstats 和nodetool status 吗？
@markc "nodetool compactionstats" 结果是没有挂起的压缩。当我尝试在同一节点上查看 nodetool 状态时，我看到该节点已启动。但是当我尝试在其他节点上查看 nodetool 状态时，我看到 solr 节点已关闭。我禁用了八卦并重新启用它。结果是一样的。我也试过很多次重启cassandra。
我曾多次看到节点需要一些时间来构建二级索引。为 solr 核心提供数据的这个键空间/表的数据大小是多少？ nodetool status 可以给出数据的大小（来自联合国节点）
@markc 我的 Solr DC 中每个节点的数据大小有 80GB。
我应该认为二级索引重建现在已经完成了？ nodetool status 中的节点现在是否在说“UN”？

标签： solr datastax datastax-enterprise

【解决方案1】：

检查所有主机的 cassandra 日志文件，看看他们在说什么。

【讨论】：

【解决方案2】：

一个节点在引导或重建后需要一些时间来构建二级索引并不罕见（取决于它是如何进入集群的）。

不过，二级索引不需要在正常重启时完全重建。

它确实取决于很多东西，例如架构、数据大小以及底层操作系统资源。您可以通过 OpsCenter 或使用nodetool 命令（例如tpstats 和compactionstats）查看索引重建情况。

一些文档链接：

https://docs.datastax.com/en/cassandra/3.0/cassandra/tools/toolsTPstats.html

https://docs.datastax.com/en/cassandra/3.0/cassandra/tools/toolsCompactionStats.html

【讨论】：