有什么方法可以将 Python 的 nltk.download('punkt') 导入 Google Cloud Functions？

Question

有什么方法可以将 Python 的 nltk.download('punkt') 导入 Google Cloud Functions？我发现手动将语句添加到 main.py 的代码块中会显着减慢我的函数处理速度，因为每次运行时都必须下载 punkt。有什么方法可以通过其他方式调用 punkt 来消除这种情况？

EDIT#1:- 我编辑了我的代码和程序结构以符合 Barak 的建议，但我一直收到同样的错误：

Error: function terminated. Recommended action: inspect logs for termination reason. Details:

**********************************************************************
  Resource [93mpunkt[0m not found.
  Please use the NLTK Downloader to obtain the resource:

  [31m>>> import nltk
  >>> nltk.download('punkt')
  [0m
  For more information see: https://www.nltk.org/data.html

  Attempted to load [93mtokenizers/punkt/PY3/english.pickle[0m

  Searched in:
    - '/tmp/nltk_data'
    - '/env/nltk_data'
    - '/env/share/nltk_data'
    - '/env/lib/nltk_data'
    - '/usr/share/nltk_data'
    - '/usr/local/share/nltk_data'
    - '/usr/lib/nltk_data'
    - '/usr/local/lib/nltk_data'
    - ''
**********************************************************************

Answer 1

将 nltk 添加到您的 requirements.txt；

在您的本地计算机上安装 nltk，如果您还没有：

pip install nltk

然后下载 nltk_data 文件。对于分词器，我需要 Punkt 分词器模块：

python -m nltk.downloader punkt  

将它们（它们位于 Roaming/ for Windows 中）复制到您的根文件夹（即与您的函数一起）：

cp -r C:\Users\<USER>\AppData\Roaming\nltk_data\* YOUR\ROOT\FOLDER\nltk_data\       

在你的主要 python 函数的开头，或者在使用 nltk 之前，添加以下代码——基本上，它会获取 path where nltk_data 是，并告诉 nltk 查看这个文件夹：

  root = os.path.dirname(os.path.abspath(__file__))
  download_dir = os.path.join(root, 'nltk_data')
  os.chdir(download_dir)
  nltk.data.path.append(download_dir)

最后，在提交/推送之后（如果您使用 Cloud Source Repos），（重新）部署您的函数！

Answer 2

查看uploading files with your Cloud function 的说明。具体来说，由于您可以上传文件，因此您可以修改 nltk 以仅使用这些文件：

在official NLTK documentation 之后，您可以“将您的 NLTK_DATA 环境变量设置为指向您的顶级 nltk_data 文件夹。”

将这些组合在一起，您会得到：

1. 使用python -m nltk.downloader punkt下载数据（在您的计算机上）
2. 将 NLTK 目录（在上述文档中找到您计算机上的路径）上传为 nltk_data 目录，在您的函数环境的根目录下创建

3. 配置代码以找到该文件夹​​：

   import os
   root = os.path.dirname(path.abspath(__file__))
   nltk_dir = os.path.join(root, 'nltk_data')  # Your folder name here
   os.environ['NLTK_DATA'] = nltk_dir
   

编辑：好像带环境变量的路径导出并没有达到预期的效果，所以让我们在代码中明确路径

1. 在您的计算机上下载数据

   import os
   download_dir = os.path.abspath('my_nltk_dir')
   os.makedirs(download_dir)
   import nltk
   nltk.download('punkt', download_dir=download_dir)
   

2. 将目录my_nltk_dir 添加到您的python 脚本的同一文件夹中。这将是

   PROJECT_ROOT/
   |-- my_code.py
   |-- my_nltk_dir/
       |-- ...
   

3. 在您的代码中引用数据使用

   import ntlk.data
   root = os.path.dirname(path.abspath(__file__))
   download_dir = os.path.join(root, 'my_nltk_dir')
   nltk.data.load(
       os.path.join(download_dir, 'tokenizers/punkt/english.pickle')
   )