如何配置spark sql查詢hive

本篇內容介紹了“如何配置spark sql查詢hive”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

配置idea spark sql連接hive
1.首先將/etc/hive/conf/的hive-site.xml復制到項目的resources下

2.添加maven依賴到pom.xml文件，不僅需要添加spark-sql，還需要添加spark-hive，spark版本2.2.0，scala版本2.10

         <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>2.2.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.10</artifactId>
            <version>2.2.0</version>
        </dependency>
 3.在程序里設置

 val spark = SparkSession
      .builder()
      .appName("test_note")
      .master("local")
      .enableHiveSupport()//設置支持hive
      .getOrCreate()
到這本地就可以直接查詢服務器的hive數據了

配置CDH集群
集群配置只需要將/etc/hive/conf/目錄下的hive-site.xml復制到/etc/spark2/conf/目錄下，就可以spark-submit了。

“如何配置spark sql查詢hive”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！