您好,登錄后才能下訂單哦!
這篇文章主要介紹python中將string類型的數據類型轉換為spark rdd時報錯怎么辦,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
在將string類型的數據類型轉換為spark rdd時,一直報這個錯,StructType can not accept object %r in type %s” % (obj, type(obj)))
. . . s = str(tree) y = str(YESTERDAY) list0 = [s, y] outRes = self.sc.parallelize(list0) df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp") . . .
查了半天的資料,問了不少同事都沒能解決掉這個bug。最后終于google到一個類似的case,終于把問題解決。記錄一下!
. . . s = str(tree) y = str(YESTERDAY) list0 = [s, y] outRes = self.sc.parallelize([list0]) df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp") . . .
上面的問題辦法是,將sc.parallelize([list0])
中的list0
再轉成一個整體list
,問題即可解決。
以上是“python中將string類型的數據類型轉換為spark rdd時報錯怎么辦”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。