【发布时间】:2021-11-08 19:28:33
【问题描述】:
有没有办法在 Glue Catalog 中创建表格或更新表格?
我们正在使用以下 DDL 在 Glue Catalog 中创建表(和数据库):
CREATE DATABASE IF NOT EXISTS glue_catalog;
CREATE EXTERNAL TABLE IF NOT EXISTS glue_catalog.date
(
file_dt date,
end_dt date
)
PARTITIONED BY (
year string,
month string
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
's3://bucket/prefix1/date'
TBLPROPERTIES (
'classification'='csv',
'columnsOrdered'='true',
'compressionType'='none',
'delimiter'='|',
'skip.header.line.count'='1',
'typeOfData'='file');
当我们需要更新架构(即数据类型)时。我们必须删除 Glue Catalog 中的表并重新执行上面的脚本,因为我们使用的是 create external table if not exists 语句。我很好奇是否有办法创建一个表,如果它不存在,但如果它存在,更新表?
【问题讨论】:
标签: amazon-web-services aws-glue amazon-athena aws-glue-data-catalog