区分大小写且未插入配置单元表的 DataFrame

Question

面对一种情况，其中数据框区分大小写，并且在将此数据框插入配置单元表时，由于列不明确而引发错误

E.g:daframe_test.columns[ABC, abc]

我们能否在运行时动态处理列中的两个值而不抛出错误

通过设置spark.set.conf("spark.sql.caseSensitive", "true")尝试了一种解决方案

但是，在添加此属性后将此数据帧插入配置单元表时，会引发错误/异常，因为内存开销和堆空间等问题。以及不希望在实时项目中设置此属性

Answer 1

Hive 不支持区分大小写的列名。您必须重命名列以确保它们符合 Hive 中的命名方案。