【问题标题】:Using Sqoop/Hive, how can I save foreign key information into HDFS with the other data?使用 Sqoop/Hive,如何将外键信息与其他数据一起保存到 HDFS 中?
【发布时间】:2017-04-04 17:54:37
【问题描述】:

假设我们在 Mysql 中有由主键和外键规范化的表。一旦数据存储到 HDFS 中,我们将丢失外键约束的信息。我怎样才能将这些信息保存在 HDFS 中?

【问题讨论】:

  • 数据导入HDFS时,如何松散外键约束信息?导入数据后,所有数据都在平面数据模型中。从 HDFS 提取到 HIVE/PIG/? ,
  • 就是这样......数据将在一个平面数据模型中,我们不再知道哪一列代表外键!
  • HDFS 不是 RDBMS。它没有主键、外键或约束。
  • @Andrew 这就是为什么我正在寻找可以将这些信息(约束)保存在 HDFS 中的原因。
  • 我不明白你想要什么。 FK 约束仅与插入相关。如果您将数据从 MySql 发送到 HDFS,那么这些约束,即使您可以创建它们,也没有任何意义。

标签: mysql sql hive hdfs sqoop


【解决方案1】:

实际上不可能在 Hive 中维护 FK 约束。但您可能知道,一旦导入数据,您应该能够加入列中的数据以提取您想要的任何内容。

【讨论】:

    猜你喜欢
    • 2012-05-18
    • 2019-07-12
    • 2018-09-19
    • 2016-11-01
    • 1970-01-01
    • 1970-01-01
    • 2014-11-25
    • 2016-07-26
    • 2017-12-16
    相关资源
    最近更新 更多