您好,登錄后才能下訂單哦!
本篇內容主要講解“Hadoop,Spark,Strom,Hive的特點是什么”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“Hadoop,Spark,Strom,Hive的特點是什么”吧!
Hadoop :是一種分布式系統基礎架構當處理海量數據的程序,開始要求高可靠、高擴展、高效、低容錯、低成本的場景
MapReduce: MapReduce 是一種編程模型,用于大規模數據集(大于 1TB) 的并行運算。MapReduce 的典型應用場景中,目前日志分析用的比較多,還有做搜素的索引,機器學習算法包 mahout 也是之一,當然它能做的東西還有很多,比如數據掘、信息提取。
Spark:擁有 Hadoop MapReduce 所具有的優點;但不同于 MapReduce 的是 Job 中間輸出結果可以保存在內存中,從而不再需要讀寫HDFS,因此 Spark 能更好地適用于數據挖掘與機器學習等需要迭代的 MapReduce 的算法。數據過于繁雜,并且需要讓計算通過迭代,并在內存中,極大地提高效率的場景
Strom:一個分布式實時計算系統,Storm是一個任務并行連續計算引擎。Storm 本身并不典型在 Hadoop 集群上運行,它使用 Apache ZooKeeper 的和自己的主/從工作進程,協調拓撲,主機和工作者狀態,保證信息的語義。無論如何, Storm必定還是可以從 HDFS 文件消費或者從文件寫入到 HDFS。
Hive:基于 Hadoop 的一個數據倉庫工具,可以將結構化的數據文件映射為一張數據庫表,并提供簡單的 sql 查詢功能,可以將 sql 語句轉換為 MapReduce 任務進行運行。應用場景:十分適合數據倉庫的統計分析。
Hbase:應用場景: 數據量太大,以至于傳統 RDBMS 無法勝任、聯機業務功能開發、離線數據分析(數據倉庫)
到此,相信大家對“Hadoop,Spark,Strom,Hive的特點是什么”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。