本系列文章记录下DataWhale的组队学习活动,内容是一个新闻文本分类的天池比赛,链接

Task1 赛题理解

Task1十分简单,只是简单的介绍些题目相关信息。

Dataset

赛题以匿名处理后的新闻数据为数据集,所谓匿名,即对文本字符进行了tokenize,所见为index,而非真实文字。预测标签包含14个类别,训练集包含20w samples,测试集A、B均包含5w samples。

 

Evaluation

统一使用F1 Score作为衡量指标,它同时兼顾precision和recall,其值越大越好。

下图为F1 Score的数学定义,摘自百度百科。

Datawhale - 新闻⽂本分类 - Task1

 

潜在思路分析

本题本质是文本分类,其难点在于训练数据是匿名化的,无法使用分词等操作。(不明白为什么算是难点,因为NLP的模型输入都是index,几乎属于必须的step,而这里已经做好了)。下面是几个可能的思路

思路1:TF-IDF + Classifier

思路2:FastText

思路3: Word2Vec + DL classifer

思路4:Bert

 

相关文章:

  • 2021-09-15
  • 2021-03-27
  • 2021-05-10
  • 2021-04-09
  • 2021-06-10
  • 2021-08-20
  • 2021-08-10
  • 2021-06-18
猜你喜欢
  • 2021-08-13
  • 2021-07-19
  • 2021-09-10
  • 2021-07-15
  • 2021-06-14
  • 2021-08-10
  • 2021-08-03
相关资源
相似解决方案