【问题标题】:Indefinite Search Cluster (Solr vs ES vs Datastax EE)无限搜索集群(Solr vs ES vs Datastax EE)
【发布时间】:2013-11-02 19:21:28
【问题描述】:

前言:

这个问题并不是要对 Elastic Search 与 Solr 与 Datastax Solr (Datastax EE) 进行开放式比较。 (尽管欢迎在 cmets 部分中提供此链接)。

项目:

我一直在构建域名类型的 Web 服务。通过这样做,我意识到此类服务的指数级增长。

背景:

我想知道哪个特定的搜索平台可以让我无限期地保存和扩展。是的,我意识到这些天你可以拆分一个 Solr Shard——所以如果我有一个 20 个 shard 的 solr 云,我以后可以将它们拆分成 40 个(我认为?再次......这不是不确定的)。不确定在弹性搜索方面。由于 Cassandra 的架构,Datastax (EE) 似乎是答案,但是 (A) 由于他们没有提供许可证价格的透明度——我必须向他们披露我的earnings,我很快就想起了 Oracle 的慢慢流血收费策略和当我开始创业时,这是一个巨大的威慑。此外,(B) 当他们说他们将完整的 MapReduce 与 Hive、Sqop、Mahout、Solr 和 Pig 集成时——我想我不想花一辈子的时间来学习不适用于我的项目的花里胡哨。我想要一个搜索平台,我可以无限期地每月添加 20 亿个文档(或任何数量),而不必担心我启动的集群前期分片太少。

问题:

诚然,我的背景部分被盗用了我想纠正的无知。我的目的不是冒犯或淡化这些惊人的技术。我只是想知道它们中的哪些可以扩展而不必担心碎片过度增长 [我在这里永远删除了这个词——谢谢你在下面的评论]。或者可以吗?不是硬件方面的,而是碎片。我可以使用哪个平台,而不必担心未来的增长是 20TB 还是 2PB。假设服务器、交换机等的硬件预算是不确定的。

【问题讨论】:

  • 弹性搜索很好地处理了增长。您可以毫不费力地在新盒子上添加 JVM(节点)。集群将尝试在那里打乱分片并保持分片的良好平衡。它还可以设置副本并确保它们与主分片不在同一个节点上。永远不是我适用于任何技术的术语。我猜想在某个时候,在 forever 大小的集群上分散和收集大查询的网络开销会变得很大。
  • @mconlin 这非常有帮助。我看到有一本关于 ES 的书,但是当 v.9 是当前版本时,它看起来像是在使用 v.2。是否有足够的显着变化渲染 .2 太旧了?什么是最好的学习方式/你是如何学习 ES 的?再次感谢您...
  • .20 到 .90 非常不同。他们的网站上有很多很好的帖子和视频,包括关于缩放的好帖子和视频。我在工作中使用它,并且仍在不断学习。
  • 太棒了——谢谢!
  • 我想知道您为什么明确提到“分割碎片”是一项必要的功能。尽管看起来很有希望,但拆分分片确实很昂贵,并且需要重新索引部分数据。由于这些缺点,Elasticsearch 不允许拆分分片,但提供了能够在不拆分分片的情况下进行横向扩展的工具。看看aliasesthis talk

标签: solr elasticsearch datastax-enterprise


【解决方案1】:

DataStax Enterprise (DSE) 本身并不是一个“搜索平台”。 DSE 提供的功能之一是能够搜索存储在 Cassandra 中的数据。 Cassandra 被用于存储和访问企业运营数据。这个想法是,一旦您决定 Cassandra 是您的企业运营数据的首选数据存储,DSE/Solr 集成就可以让您对这些数据执行丰富的搜索。

大型企业正在寻求从传统的关系数据库迁移到更现代的平台,例如 NoSQL 数据库,例如 Cassandra,其中可扩展性和分布式计算(包括多数据中心支持、可调一致性和强大的操作工具,包括OpsCenter GUI 仪表板)是标准。 DSE 的 Solr 集成促进了这种迁移。

【讨论】:

    【解决方案2】:

    关于您的收入,该链接指向一个启动计划。如果您符合条件,这将使该软件 100% 免费。

    【讨论】:

      猜你喜欢
      • 2014-12-16
      • 2011-03-14
      • 2012-03-17
      • 2014-06-27
      • 2019-08-04
      • 2019-12-22
      • 1970-01-01
      • 1970-01-01
      • 2014-07-05
      相关资源
      最近更新 更多