張小龍談“大數據五種開源處理技術”

概述

現在市場上有超過25萬個開源技術出現了。如何選擇？讓我們一起看下5種激動人心的大數據技術。

Storm 和Kafka是未來數據流處理的主要方式，它們已經在一些大公司中使用了，包括 Groupon,阿里巴巴和The Weather Channel等。

Storm,誕生于Twitter,是一個分布式實時計算系統。Storm 設計用于處理實時計算,Hadoop主要用于處理批處理運算。

kafka是由LinkedIn研發的一款消息系統，作為一個數據處理的管道基礎部分存在于系統中。當你一起使用它們，你就能實時地和線性遞增的獲取數據。

1、Storm\Kafka

使用Storm和Kafka,使得數據流處理線性的，確保每條消息獲取都是實時的，可靠的。前后布置的Storm和Kafka能每秒流暢的處理10000條數據。像Storm和Kafka這樣的數據流處理方案使得很多企業引起關注并想達到優秀的ETL(抽取轉換裝載)的數據集成方案。Storm 和 Kafka 也很擅長內存分析和實時計算支持。企業使用批量處理的Hadoop方案無法也難對實現實時的業務需求。

在企業的大數據解決方案中實時數據流處理是必須的，因為它很優美的處理了“3v”–volume,velocity 和 variety (容量，速率和多樣性)。

Drill和Dremel 實現了快速低負載的大規模，即時查詢數據搜索。它們提供了秒級搜索P級別數據的可能，來應對即席查詢和預測，及提供強大的虛擬化支持。

Drill和Dremel提供強大的業務處理能力，不僅僅只是為數據工程師提供。業務端的大家都將喜歡Drill和Dremel。Drill 是Google的Dremel的開源版本。Dremel是Google提供的支持大數據查詢的技術。

Hadoop生態圈使得MapReduce作為一個很親切有利的工具應用于廣告分析。從Sawzall到Pig到Hive,很多接口層應用的建立使得Hadoop更為友好，更接近業務，但是，像SQL體系，這些抽象層忽略一個重要的事實–MapReduce(或Hadoop)是為了系統化數據處理流程而存在的。

在堆對比的工作流基礎的方法論中，很多業務驅動的BI和分析查詢都是很基本的和臨時交互的，低延時分析。一些數據科學家早已經推測Drill和Dremel將優于Hadoop。在Infochimps我們喜歡使用Elasticsearch全文索引引擎來實現數據庫的數據搜索，但是真的在大數據處理中我們認為Drill將成為主流。

2、R

R是開源的強大的統計編程語言。自1997年以來，超過200萬的統計分析師使用R。這是一門誕生自貝爾實驗室的在統計計算領域的現代版的S語言并迅速地成為了新的標準的統計語言。R使得復雜的數據科學變得更廉價。R是SAS和SPASS的重要的領頭者，并作為最優秀的統計師的重要工具。

因為它有一個非凡強大的社區在支持著，你可以找到所有的R的類庫，創建虛擬的各類型的科學數據而不用新寫代碼。R之所以令人興奮是因為維護他的人和新的每天的創造。R社區是大數據領域令人興奮的地方之一。R在大數據領域是一個超棒的不會過時的技術。

在最近的幾個月里，幾千個新特性被日益公開的知識基礎為主的分析類型的分析師們介紹.而且，R和Hadoop協同的很好，作為一個大數據的處理的部分已經被證明了。

3、Jualia

Julia ，是一個有趣的R的替代者，因為它不喜歡R的死慢死慢的解釋器。Julia的社區雖然不怎么強大現在，但是如果你不是立即使用它的話，還是可以等等的。Gremlin 和 Giraph 幫助增強圖形分析，并在圖數據庫像Neo4j和InfiniteGraph中被使用，和與Hadoop協同工作的Giraph中被使用。

Golden Orb是另一個高層面的流處理的圖基礎的項目的例子。可以看看。圖數據庫是富有魅力的邊緣化的數據庫。它們和關系型數據庫相比，有著很多有趣的不同點，這個是當你在開始的時候總是想用圖理論而不是關系型理論。

另一個類似的圖基礎的理論是Google的Pregel,相比來說Gremlin和Giraph是其的開源替代。實際上，這些都是Google技術的山寨實現的例子。圖在計算網絡建模和社會化網絡方面發揮著重要作用，能夠連接任意的數據。另外一個經常的應用是映射和地理信息計算。從A到B的地點，計算最短的距離。

圖在生物計算和物理計算領域也有廣泛的應用，例如，他們能繪制不尋常的分子結構。海量的圖，圖數據庫和分析語言和框架都是一種現實世界上實現大數據中的一部分。圖基礎的理論是一個殺手級的應用，為什么這么說?任何一個解決大型網絡節點問題，都是通過節點和節點之間的路徑來處理的。很多富有創造力的科學家和工程師們，都很明白的用正確的工具來解決對應的問題。

4、SAP hANA

SAP Hana 是一個全內存的分析平臺，它包含了一個內存數據庫和一些相關的工具軟件用來創建分析流程和規范正確的格式來進行數據的輸入輸出。

Hana 假設其他的程序處理時候還不夠快的解決遇到的問題，例如，金融建模和決策支持，網站個性化和欺騙檢測等等。Hana最大的缺點是”全內存“這意味著訪問軟狀態的內存，這個是很明確的有點，但是這個也是相比磁盤存儲來說很昂貴的部分。據組織者說，不用擔心操作成本，Hana是快速的低延遲的大數據處理工具。

5、D3

D3是一個javascript面向文檔的可視化的類庫。它強大的創新性的讓我們能直接看到信息和讓我們進行正常的交互。它的作者是Michael Bostock一個紐約時報的圖形界面設計師。例如，你可以使用D3來從任意數量的數組中創建HTMl表格。你能使用任意的數據來創建交互進度條等。使用D3，程序員能之間創建界面，組織所有的各種類型的數據。

開始正式的使用Hadoop已經有近一年的時間的了，這期間從百度出來，到初見在到現在的BitWare，在不同的公司，用不同的技術解決問題。但是本質上遇到的問題總是那么幾個，當然現在很多公司也開始嘗鮮的使用Hadoop的了。這個是大環境是如此，可以理解。

Storm和Kafka 從11年起，就開始關注了，Storm在阿里也有部分二線應用，但是整體而言，剛剛滿一歲的Storm在nathanmarz大俠的打磨下越來越穩定了，并有部分線上的應用了。所以對這個技術，總體而言，我個人還是很看好的，因為現在使用hadoop無法實現實時的處理，使用HBase來為主要的數據庫來使用了，暫時還是能解決.