溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
如何分析Apache Spark數據建模中的時間維度，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。
數據建模是數據分析重要的組成之一，正確的建立模型有助于用戶更好地解答業務相關的問題。在過去幾十年中，數據建模技術也一直是SQL數據倉庫的基礎。
Apache Spark作為新一代的數倉技術的代表，我們能夠在 Spark 中使用早期的數據建模技術。這使得Spark data pineline 更加有效。下面我將討論spark中不同的數據建模。
單一日期列在許多數據集中很常見。有些數據集可能需要針對多個日期列分析數據。那么在之前的文章中所討論的策略是不夠的。因此，我們需要擴展日期維度邏輯來容納多個日期列。
下面的代碼向股票數據添加了一個名為issue_date的日期列，以模擬多個日期的場景。
val appleStockDfWithIssueDate = appleStockDf. withColumn("issue_date",add_months(appleStockDf("Date"),-12))
現在，如果用戶希望根據表示交易日期的日期列和表示給定股票何時發行的發布日期列進行分析，那么我們需要使用多個日期維。
為了分析多個日期，我們需要多次連接日期維度。我們需要使用不同前綴的數據維來創建視圖，這樣我們就可以完成相同的工作。
val issueDateSchema = StructType(dateDf.schema.fields.map(value =>value.copy(name = "issue_"+value.name)))val issueDf = sparkSession.createDataFrame(dateDf.rdd, issueDateSchema)
在上面的代碼中，我們創建了一個名為issueDf的新df，它為所有列添加了一個名為issue的前綴，表示將這個日期維度組合為issue_date。
一旦我們準備好了新的日期維度，現在我們就可以連接股票數據中的兩個日期了。
val twoJoinDf = appleStockDfWithIssueDate.join(dateDf, appleStockDfWithIssueDate.col("Date") === dateDf.col("full_date_formatted")) .join(issueDf, appleStockDfWithIssueDate.col("issue_date") === issueDf.col("issue_full_date_formatted"))
一旦我們做了連接，我們可以分析發行日期如下
twoJoinDf.groupBy("issue_year","issue_quarter"). avg("Close"). sort("issue_year","issue_quarter") .show()
看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
