LawsonAbs的认知与思考,还请各位读者批判阅读。
0.总结
- 使用transition-based model。这种model 使用传统数据结构(stack )作为基础
- 自定义栈的操作类型,从而达到一个
entity recognization的效果 - 持续更新~
本博客分成部分:
- part1是论文笔记,主要是概括了一下论文的主要内容;
- part2用于解决对论文的疑问;
- part3部分是关于如何实现论文的细节部分。
PART1论文笔记
PART2疑问
1. 该用什么数据集?什么部分?
下载得到的 CADEC,解压后得到的文件夹如下所示:
那么是用v1,还是v2?
- 使用CADEC.v2文件夹中的数据即可。
- 但是即使在上述的文件夹中的数据仍然数据量比较大,所以作者只取了ADE的部分
但是不清楚是否是因为typo,原作者写成了 ADR。
2.预处理数据的作用是什么?效果是什么?
待更新~
3.其它准备工作
主要是语料库的下载。
-
需要下载elmo 模型和训练结果,下载地址为:https://allennlp.org/elmo。主要是下载weights 和options 两个文件
将下载得到的文件放到目录:/data/dai031/Corpora/ELMo/elmo_2x4096_512_2048cnn_2xhighway_5.5B 下。
-
需要下载glove算法预训练得到的embedding信息,也就是文件glove.6B.100d.txt:可以在 https://www.kaggle.com/danielwillgeorge/glove6b100dtxt 中下载得到。
PART3代码实现
在加载文件 glove.6B.100d.txt 时不动代码卡住不动了:这个问题该怎么解决呢?
发现自己的确是个zz(原作者也不按常理出牌啊),把日志直接写到文件中了,而没有在窗口中输出。
文件地址如下:日志输出过程(训练有点儿慢)如下: