如何使用 spark scala 将 HiveContext 作为参数从一个函数传递给另一个函数

Question

我有一个场景，我需要将HiveContext 作为参数传递给另一个函数。以下是我的代码以及我遇到问题的地方：

Object Sample {
    def main(args:Array[String]){
        val fileName = "SampleFile.txt"
        val conf = new SparkConf().setMaster("local").setAppName("LoadToHivePart")  
        conf.set("spark.ui.port","4041")
        val sc=new SparkContext(conf)
        val sqlContext = new org.apache.spark.sql.SQLContext(sc)  
        val hc = new org.apache.spark.sql.hive.HiveContext(sc) 
        hc.setConf("hive.metastore.uris","thrift://127.0.0.1:9083")
        test(hc,fileName)
        sc.stop()
    }
    def test(hc:String, fileName: String){
        //code.....
    }
}

根据上面的代码，我无法将 HiveContext 变量“hc”从 main 传递给另一个函数。还尝试过：

def test(hc:HiveContext, fileName:String){} 但两者都显示错误。

Answer 1

def test(hc:HiveContext, fileName: String){
        //code.....
    }

注意：org.apache.spark.sql.hive.HiveContext 中提供 Hive 上下文

所以使用import org.apache.spark.sql.hive.HiveContext导入它