【发布时间】：2018-12-12 05:14:18
【问题描述】：
我有 CSV 文件，但我必须在不知道其数据类型和架构的情况下分配数据类型 我的意思是一切都是通过 scala 编程完成的有可能吗？？ 我不知道如何在 scala 中编写代码，有人知道吗？
我是 scala 的新手，我只是对 scala 有基本的了解，我知道如何读取 csv 文件，但我没有它的架构和数据类型，这可能吗？ 你能给我这样的答案吗 1）加载csv文件。 2）如何使用sparkSQL进行分析。 3)如何在scala中自动设置数据类型。
【问题讨论】：
-
这个问题太宽泛了。到目前为止你尝试了什么，你在哪里卡住了？如果您对 scala 一无所知，那么解决方案是开始学习 scala，并且可能会在遇到这些问题时提出一些问题。
-
对不起伊桑！我已经提到“我有 scala 的基本知识”，问题是我有一个关于 scala 的作业，问题陈述：首先我必须使用 spark-shell(scala shell) 加载 csv 文件，并且 CSV 文件没有它的模式和数据类型。默认情况下，如果我们没有提到这些，spark 会将字符串作为数据类型，将 _c0、_c1 作为列名。！那么有没有办法在不知道架构的情况下为列分配不同的数据类型，所以当我加载 csv 文件时，数据类型（如 int、float、string、作为列）必须自动分配！
-
很抱歉这么久才回复你，我一直很忙。听起来您已成功将代码加载到 spark 中，但无法确定类型。你能告诉我们你有什么代码吗？不知道你究竟在哪里卡住或困惑，很难提供帮助。
-
嘿 Ethan 我得到了一个答案 .option("InferSchema","True") 用于检测其数据类型
标签： scala apache-spark bigdata