【问题标题】:How to perform Multilabel classification using spark ml in Java如何在 Java 中使用 spark ml 执行多标签分类
【发布时间】:2019-12-09 09:27:57
【问题描述】:

我建立了一个模型,该模型根据主题(功能)中的关键字将电子邮件分类为 10 个不同的work_categories(标签)。但是,此任务可能包含应将电子邮件分类为多个标签的可能性。

例如:主题为“服务证书并传输”的电子邮件应分为两个标签,即Servicing Worktype(标签1)和Transfer Worktype(标签2)。在我当前的程序中,这仅分配给标签1。无论如何我可以在java中使用spark ml将电子邮件分类到两个标签吗?

我一直在关注https://github.com/apache/spark/tree/master/examples/src/main/java/org/apache/spark/examples/ml 寻求指导,但没有关于多标签分类的内容。

如果您有任何可以帮助我的建议或文档,请告诉我。谢谢

【问题讨论】:

    标签: java apache-spark machine-learning apache-spark-ml multilabel-classification


    【解决方案1】:

    LogisticRegressionWithLBFGSLogisticRegressionWithSGD都支持多标签分类:

    LogisticRegressionWithLBFGS

    为多项/二元 Logistic 训练分类模型 使用有限内存 BFGS 进行回归。标准特征缩放和 L2 默认使用正则化。

    LogisticRegressionWithSGD:

    使用二元逻辑回归训练分类模型 随机梯度下降。默认情况下使用 L2 正则化, 可以通过 LogisticRegressionWithSGD.optimizer 进行更改。

    建议使用LogisticRegressionWithLBFGS

    【讨论】:

    • 但是,我认为这些只包含在 Spark mlib 包中。我们有类似的 Sparl ML 包库吗?
    猜你喜欢
    • 2015-09-12
    • 2020-09-27
    • 2017-05-04
    • 2017-07-01
    • 1970-01-01
    • 2017-01-03
    • 2021-09-24
    • 2020-01-14
    • 2019-05-24
    相关资源
    最近更新 更多