【问题标题】:Suggestion technology/design on this BIGDATA usecase关于这个大数据用例的建议技术/设计
【发布时间】:2014-02-19 13:12:16
【问题描述】:

我是大数据技术和设计的新手,因此寻求 java 世界的帮助。

我有标签和标签组合的概念。 例如 U.S.A 和 Pen 是两个标签,如果它们在某个定义中组合在一起,则为此注册一个 tagcombination(U.S.A-Pen)..

标签(美国、钢笔、铅笔、印度、洗发水) tagcombinations(U.S.A-Pen, India-pencil, U.S.A-Pencil, India-Pen, India-Pen-Shampoo)

  • 百万标签
  • 数十亿的标签组合
  • 一个标签组合一般有2-8个标签....
  • 每天我们都会收到数以万计的新标签组合来编写
  • 每天通过一组标签查找匹配组合的查询数以亿计

查询需要支持: 一个标签或一组标签出现在多少个tagcombinationids ???? 如果我查询 Pen,India 那么它应该返回两个 tagcombinaions (India-Pen, India-Pen-Shampoo))..Query 将被应用程序实时触发。

请提出一个与java客户端一起分发的解决方案,并且可以 处理我正在寻找的数据规模..

已经在 cassandra 上尝试过,但无法得出结论认为这是我的问题的正确匹配..

谢谢 纳雷什

【问题讨论】:

    标签: hadoop lucene mapreduce cassandra bigdata


    【解决方案1】:

    我建议你研究一下 Apache Lucene 项目:

    http://lucene.apache.org/

    您将无法直接使用 Cassandra,但如果您将数据存储在 Cassandra 中,则可以使用 Solr 在数据之上添加额外的索引。 DataStax 有一个名为 DataStax Enterprise 的捆绑解决方案,其中包含 Cassandra/Solr:

    http://www.datastax.com/what-we-offer/products-services/datastax-enterprise

    【讨论】:

    • 非常感谢..从我的研究中我也到达了那里...DSE 不能作为许可使用它..我在一个项目 lucandra 中将 lucene 存储在 cassandra 列族中...任何反馈关于这个或类似的解决方案????
    • DataStax Enterprise 可免费用于开发目的。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2011-05-20
    • 1970-01-01
    • 2013-12-03
    • 1970-01-01
    • 1970-01-01
    • 2016-03-18
    • 1970-01-01
    相关资源
    最近更新 更多