NotFoundError TensorFlow 文本标记化不起作用答案

【问题标题】：NotFoundError Tensorflow Text Tokenization Not WorkingNotFoundError TensorFlow 文本标记化不起作用
【发布时间】：2020-04-20 09:58:25
【问题描述】：

环境：Google colab

!pip install -q tensorflow-text

我正在使用 TensorFlow 文本进行文本标记化

from tensorflow_text import text
docs = tf.data.Dataset.from_tensor_slices([['Never tell me the odds.'], ["It's a trap!"]])
tokenizer = text.WhitespaceTokenizer()

tokenized_docs = docs.map(lambda x: tokenizer.tokenize(x))
iterator = iter(tokenized_docs)

print(next(iterator).to_list())
print(next(iterator).to_list())

我遇到的错误

NotFoundError                             Traceback (most recent call last)
<ipython-input-28-ca7b908c09b1> in <module>()
----> 1 from tensorflow_text import text
      2 docs = tf.data.Dataset.from_tensor_slices([['Never tell me the odds.'], ["It's a trap!"]])
      3 tokenizer = text.WhitespaceTokenizer()
      4 tokenized_docs = docs.map(lambda x: tokenizer.tokenize(x))
      5 iterator = iter(tokenized_docs)

4 frames
/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/load_library.py in load_op_library(library_filename)

NotFoundError: /usr/local/lib/python3.6/dist-packages/tensorflow_text/python/ops/_wordpiece_tokenizer.so: undefined symbol: _ZNK10tensorflow11ResourceMgr8DoLookupERKSsSt10type_indexS2_PPNS_12ResourceBaseE

【问题讨论】：

标签： python tensorflow deep-learning nlp

【解决方案1】：

您是否检查了安装 Tensorflow 的 Python 版本与您正在执行的版本？都在执行 3.6 版吗？

您可以尝试以下链接中的一些建议： https://github.com/google/sentencepiece/issues/293

【讨论】：