溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
在hive中建表格式存儲格式為orc
create table user(id int,name string) stored as orc;
spark寫文件
val jsons = "hdfs://localhost:9000/test/artist_orc.json"
val people = sc.textFile(jsons)
val schemaString = "id name"
val schema = StructType(schemaString.split(" ").map(fieldName => {if(fieldName == "name")
StructField(fieldName, StringType, true) else StructField(fieldName, IntegerType, true)}))
val rowRDD = people.map(line=>{
JSONObject.fromObject(line)
}).map(p => Row(new Integer(p.get("id").toString), p.get("name")))
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
val peopleSchemaRDD = hiveContext.createDataFrame(rowRDD, schema)
peopleSchemaRDD.write.format("orc").save("hdfs://localhost:9000/user/xb/warehouse/artist_orc/adf")免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
