创建DataSet的几种方式:

1、读取文件的方式创建

spark的DataFrame和DataSet

只有一列,每一列对应文本的一行数据:
spark的DataFrame和DataSet
DataSet既可以进行RDD的一些操作,又可以进行DataFrame的一些操作:
spark的DataFrame和DataSet
如果是DataFrame就不能简单的进行上述操作。
spark的DataFrame和DataSet

2、通过自定义类来创建

spark的DataFrame和DataSet
spark的DataFrame和DataSet

3、通过RDD创建

spark的DataFrame和DataSet

4、通过DF创建

spark的DataFrame和DataSet
一般DF转DS用的少。
下面这种方式简单:
spark的DataFrame和DataSet

DataFrame的创建方式

1、DS转DF

spark的DataFrame和DataSet

2、RDD转DF

spark的DataFrame和DataSet

将DF注册成临时表:
spark的DataFrame和DataSet
通过spark SQL进行操作:
spark的DataFrame和DataSet

相关文章: