我们可以将 AWS Glue 视为 EMR 的替代品吗？

Question

只需向 Master 提出一个快速澄清的问题，因为 AWS Glue 作为 ETL 工具，除了在spark，我正在寻找一些说明，如果 AWS Glue 可以替代 EMR？

如果两者可以共存，EMR 如何与 AWS Glue 一起发挥作用？

感谢和问候

尤瓦

Answer 1

据我了解，胶水不能替代 EMR。这实际上取决于您的用例。 胶水 ETL 有一些限制；

• 不支持 --packages。
• 您没有用于存储临时数据的内部存储器。

使用胶水目录您可以在 Athena 中查看数据，但它也有一些限制，例如无法创建表作为选择，无法创建视图等。您可以使用 EMR 中的胶水数据目录来克服 Athena 的限制。

因此，目前胶水可以替代持久性元数据存储。

Answer 2

到目前为止，与 EMR 相比，我使用 Glue 的经验并没有提供任何明显的优势。此外，我看到了 Glue 的一些限制，例如库、临时存储等。此外，虽然 Glue 位于 Spark 上，但它的行为与核心 Spark 不同；例如读取 1 行 CSV 文件，如果缺少标题则忽略整个文件等。

我还在研究 Glue 是否会根据查询负载动态调整集群。如果我找不到好的东西，我想我会推荐我的公司以更灵活的方式转移 EMR。

Answer 3

AWS Glue 不允许我们配置很多东西，例如执行程序内存或驱动程序内存。它是一个完全托管的服务，默认驱动程序内存为 5Gb，默认执行程序内存为 5Gb。 另一方面，AWS EMR 不是完全托管的服务，需要我们进行配置。更适合有经验的工程师。

Answer 4

顺便说一句，您还可以通过将参数传递给 Glue 作业来配置所有内置配置：
前任。

--conf value: spark.yarn.executor.memoryOverhead=1024   
--conf value: spark.driver.memory=10g  

这有助于使 Glue Job 更加灵活。

Answer 5

您实际上可以在 AWS Glue 上“无服务器”运行常规 Spark 作业。我们使用 AWS Glue 作为自动扩展的“无服务器 Spark”解决方案：作业自动从托管的 AWS Spark 集群池中获取分配的集群。 AWS Glue 开发工具包和 Glue 目录可以忽略，自动生成的脚本可以替换为常规 Spark 代码。可以打包依赖并推送到S3。

但是，配置选项是有限的。缩放参数仅限于WorkerType 和NumberOfWorkers，或神奇的MaxCapacity。集群大小不会随着在 Glue SDK 之外打开的文件而自动缩放。

示例 CloudFormation 配置 sn-p：

  MyJob:                                                                                                                                                                                                
    Type: "AWS::Glue::Job"                                                                                                                                                                                     
    Properties:                                                                                                                                                                                                
      Command:                                                                                                                                                                                                 
        Name: "glueetl"                                                                                                                                                                                        
        ScriptLocation: "SOME_S3_MAIN_CLASS_LOCATION"
      AllocatedCapacity: 3
      DefaultArguments:                                                                                                                                                                                        
        "--job-language": scala                                                                                                                                                                                
        "--class": some.class.path.inside.jar.MyJob                                                                                                                                           
        "--enable-metrics": true                                                                                                                                                                               
        "--extra-jars": "SOME_S3_JAR_LOCATION"

更多配置选项可以在 Glue CloudFormation 文档中找到：https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-glue-job.html#cfn-glue-job-defaultarguments

Answer 6

EMR 可以充当“交互式”和“批处理”数据处理框架（EMR 是 hadoop 框架）。 Glue 只是具有以下附加功能的“批处理”模式数据处理 (ETL) 框架 (Spark ETL)。

Glue has many capabilities, some of them are 

 1.Glue Metadata catalog (Data Catalog - Database and tables) 
 2.Glue Crawler - Parse the data and create table definitions
 3.Glue Jobs - ETL
 4.Glue Workflows - Combined multiple ETL flow
 5.Glue  ML transforms - ML related transforms
 6. Glue devendpoints - for developing Glue jobs in Notebooks

Glue 是无服务器 AWS 服务，这意味着您无需花时间设置底层服务器和节点。 （尽管，Glue 在幕后使用了 EMR）。您可以使用 Glue 高级配置选择集群大小（通过选择 DPU 1.X 或 2.X 以及 DPU 的数量 DPU-数据处理单元）参考此链接Configuring DPUs

用一个具体的答案来回答你的问题：

Glue cannot replace EMR, EMR has more functional capabilities than Glue.

您可以将 EMR 视为“具有生态系统（包括 spark）的 Hadoop 框架”，并且 Glue 仅作为“具有 Hive 元存储功能的 Spark ETL”

是的，它们都可以共存。如果它们共存，Glue 可以充当 ETL 用于在 S3 中获取数据、转换和存储并维护的框架 该数据集在“胶水目录”中的表定义。电子病历可以 使用“EMRFS”和 Glue 目录从 S3 使用/访问该数据集。使用 EMR 生态系统，您可以分析数据（使用表定义）