【发布时间】：2021-08-20 15:21:09
【问题描述】：
我正在尝试在 AWS 上部署 ETL 管道， 管道架构由管理整个管道的 step 函数组成，它由 10 个并行（独立）Fargate（管道）组成，使用 map in step 函数和一个 Lambda（错误通知器）调用，
我使用 python 3.7 作为基础镜像来构建我的 docker 镜像，管道已成功部署，但有时会随机失败，容器退出代码为 139。
经过进一步研究，发现是sigsegv错误（与linux内核的错误代码11相同），相关的无效内存访问
我不知道如何纠正这个错误
【问题讨论】：
-
您的容器内运行的是什么？
-
我在 python 中运行 ETL 应用程序：需求文件：google-cloud-bigquery==2.6.2 google-cloud-bigquery-datatransfer==3.0.0 Google-cloud-pubsub==2.6 .1 google-cloud-storage==1.35.0 google-oauth2-tool==0.0.3 google-cloud-logging==2.5.0 traceback2==1.4.0 openpyxl==3.0.6 numpy==1.19.4 pandas==1.2.0 fastparquet==0.5.0 pyarrow==2.0.0 python-dateutil==2.8.1 requests==2.25.1 bigquery_schema_generator==1.4 google-cloud-secret-manager==2.6.0 boto3= =1.18.7
-
@Hcaertnit 此服务将从 s3 获取数据，对其进行处理，将其存储到 gcs 并使用 lambda 将其摄取到 BQ，这会在管道中造成瓶颈，因为对其施加了时间限制。为了纠正我们正在 Fargate 中部署管道
标签： amazon-web-services docker containers amazon-ecs aws-fargate