bert-as-service安装

之前做NLP任务的时候,比较喜欢用word2vec对词向量进行训练,然后作为神经网络的初始化输入。同事说你应该试试bert,bert效果可好了。对于这个领域的小白,我首先想到了bert-as-service,这里十分感谢肖涵博士。

bert-as-service安装很简单,直接pip install bert-serving-server; pip install bert-serving-client.这俩版本最好一致。

然后就是下载需要的已经训练好的语料,语料可以参考:
https://github.com/google-research/bert#pre-trained-models
以及:
https://github.com/ymcui/Chinese-BERT-wwm

bert-as service使用

上面两个步骤完成后,打开一个cmd窗口,输入:
bert-serving-start -model_dir E:\Papers\bert\chinese_L-12_H-768_A-12
其中E:\Papers\bert\chinese_L-12_H-768_A-12是下载的预训练语料的存储路径,这个chinese_L-12_H-768_A-12里面包括:
bert_config.json
bert_model.ckpt.data-00000-of-00001
bert_model.ckpt.index
bert_model.ckpt.meta
vocab.txt
即预训练的配置,模型以及单词和字母表。

然后你的cmd窗口中会出现:
bert-as-service 小白使用记录
当然由于我的tensorflow版本问题,前面还有很多警告都被我忽视了。由于电脑配置一般,等了一会儿才出现:
bert-as-service 小白使用记录
然后保留这个窗口,大家可以愉快的用自己喜欢的工具进行编程使用了。
from bert_serving.client import BertClient
bc=BertClient()
x=bc.encode([‘人工智能’])

当然我之前也遇到了一些小问题,比如我最开始输入:
bert-serving-start -model_dir E:\Papers\bert\chinese_L-12_H-768_A-12 -num_worker=2
电脑很久都没反应,后来把-num_worker删除了,电脑才没有卡住。
目前对bert-as-service也是刚刚开始,暂且记录下来。
还有就是之前没有进行bert-as-service的启动就直接开始编程,导致电脑也没有反应。不过相信大家应该不会这样。

相关文章:

  • 2021-07-31
  • 2022-01-28
  • 2022-12-23
  • 2021-12-05
  • 2021-10-03
  • 2022-12-23
  • 2021-10-13
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2021-08-30
  • 2021-04-10
  • 2021-10-07
  • 2021-05-21
  • 2021-12-05
相关资源
相似解决方案