【发布时间】:2013-11-02 19:21:28
【问题描述】:
前言:
这个问题并不是要对 Elastic Search 与 Solr 与 Datastax Solr (Datastax EE) 进行开放式比较。 (尽管欢迎在 cmets 部分中提供此链接)。
项目:
我一直在构建域名类型的 Web 服务。通过这样做,我意识到此类服务的指数级增长。
背景:
我想知道哪个特定的搜索平台可以让我无限期地保存和扩展。是的,我意识到这些天你可以拆分一个 Solr Shard——所以如果我有一个 20 个 shard 的 solr 云,我以后可以将它们拆分成 40 个(我认为?再次......这不是不确定的)。不确定在弹性搜索方面。由于 Cassandra 的架构,Datastax (EE) 似乎是答案,但是 (A) 由于他们没有提供许可证价格的透明度——我必须向他们披露我的earnings,我很快就想起了 Oracle 的慢慢流血收费策略和当我开始创业时,这是一个巨大的威慑。此外,(B) 当他们说他们将完整的 MapReduce 与 Hive、Sqop、Mahout、Solr 和 Pig 集成时——我想我不想花一辈子的时间来学习不适用于我的项目的花里胡哨。我想要一个搜索平台,我可以无限期地每月添加 20 亿个文档(或任何数量),而不必担心我启动的集群前期分片太少。
问题:
诚然,我的背景部分被盗用了我想纠正的无知。我的目的不是冒犯或淡化这些惊人的技术。我只是想知道它们中的哪些可以扩展而不必担心碎片过度增长 [我在这里永远删除了这个词——谢谢你在下面的评论]。或者可以吗?不是硬件方面的,而是碎片。我可以使用哪个平台,而不必担心未来的增长是 20TB 还是 2PB。假设服务器、交换机等的硬件预算是不确定的。
【问题讨论】:
-
弹性搜索很好地处理了增长。您可以毫不费力地在新盒子上添加 JVM(节点)。集群将尝试在那里打乱分片并保持分片的良好平衡。它还可以设置副本并确保它们与主分片不在同一个节点上。永远不是我适用于任何技术的术语。我猜想在某个时候,在 forever 大小的集群上分散和收集大查询的网络开销会变得很大。
-
@mconlin 这非常有帮助。我看到有一本关于 ES 的书,但是当 v.9 是当前版本时,它看起来像是在使用 v.2。是否有足够的显着变化渲染 .2 太旧了?什么是最好的学习方式/你是如何学习 ES 的?再次感谢您...
-
.20 到 .90 非常不同。他们的网站上有很多很好的帖子和视频,包括关于缩放的好帖子和视频。我在工作中使用它,并且仍在不断学习。
-
太棒了——谢谢!
标签: solr elasticsearch datastax-enterprise