如何在 AWS Glue 中使用 Crypto.Cipher AES？答案

【问题标题】：How to use Crypto.Cipher AES in AWS Glue?如何在 AWS Glue 中使用 Crypto.Cipher AES？
【发布时间】：2019-08-05 08:28:07
【问题描述】：

我目前在我的 AWS lambda 函数中使用取自 https://github.com/Doerge/awslambda-pycrypto 的模块 Crypto.Cipher AES，它非常适合我的情况。

from Crypto.Cipher import AES
from botocore.vendored import requests

url = 'my_url'
PARAMS =  {'param1':'val1', 'param2':'val2'}
CIPHER_KEY = 'cipher_key'

req = requests.get(url, params = PARAMS).json()
ciphered_value = r['ciphered_value']
decipher = AES.new(CIPHER_KEY, AES.MODE_ECB)
value =  decipher.decrypt(ciphered_value)

但是，由于需要处理的值的数量超过了我的 15 分钟限制，Lambda 失败了

我正在尝试运行 AWS Glue Python Shell 作业，该作业运行与 Glue 完全相同的代码，可以持续超过 15 分钟，并且允许我访问其他资源和 AWS 数据目录。

但是，当我运行我的工作时，我收到以下错误：

Traceback (most recent call last):
File "/tmp/runscript.py", line 115, in <module>
runpy.run_path(temp_file_path, run_name='__main__')
File "/usr/local/lib/python3.6/runpy.py", line 263, in run_path
pkg_name=pkg_name, script_name=fname)
File "/usr/local/lib/python3.6/runpy.py", line 96, in _run_module_code
mod_name, mod_spec, pkg_name, script_name)
File "/usr/local/lib/python3.6/runpy.py", line 85, in _run_code
exec(code, run_globals)
File "/tmp/glue-python-scripts-87edl8q9/playlist_ingestor_glue.py", line 10, in <module>
ModuleNotFoundError: No module named 'Crypto'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/tmp/runscript.py", line 134, in <module>
raise e_type(e_value).with_tracsback(new_stack)
AttributeError: 'ModuleNotFoundError' object has no attribute 'with_tracsback'

很明显，它无法读取 Crypto 模块。

ModuleNotFoundError：没有名为“加密”的模块

我跟着这个：

https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-python-libraries.html

还有这个：

https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html#create-python-egg-library

并添加了setup.py文件的内容：

from setuptools import setup

setup(
    name="Crypto",
    version="0.1",
    packages=['Crypto']

并将Crypto 目录+setup.py 文件的内容压缩到我上传到S3 并在我的Glue 作业Python library path 中引用的zip 文件pycrypto.zip。

在这一切之后，我仍然得到错误。

我使用以下组合运行了我的脚本，但没有结果：

from Crypto.Crypto.Cipher import AES
from Crypto.Cipher import AES
from Cipher import AES

在 AWS Glue 中使用此已编译模块的正确方法是什么？我觉得这很令人沮丧，因为兼容的 python 库非常有限，而且还没有很多示例、文档或社区帖子来解释如何实现这一点。

【问题讨论】：

标签： python amazon-web-services aes aws-glue pycrypto

【解决方案1】：

找到这个问题

AWS Glue Python

建议使用这个：

import os
import site
from setuptools.command import easy_install
install_path = os.environ['GLUE_INSTALLATION']
easy_install.main( ["--install-dir", install_path, "<library-name>"] )
reload(site)


import <installed library>

所以我从https://pypi.org/project/pycrypto/#files获取了最新版本

import os
import site
from setuptools.command import easy_install
install_path = os.environ['GLUE_INSTALLATION']

easy_install.main( ["--install-dir", install_path, "https://files.pythonhosted.org/packages/60/db/645aa9af249f059cc3a368b118de33889219e0362141e75d4eaf6f80f163/pycrypto-2.6.1.tar.gz"] )
reload(site)

它正在工作！

不过，我想知道如何将它用作引用的 python 库。

【讨论】：