關于數據中臺，這家外企的觀點恰恰值得深思

數據中臺并非舶來品，而是中國互聯網巨頭制造出來的概念。

事實上，在國內各行各業掀起一股所謂的數據中臺熱之際，國外用戶卻對之鮮有提及。但是，這并不代表國外市場對于數據價值不重視。恰恰相反，在歐美等數字化程度很高的市場里，DataOps理念已經深入人心。所謂DataOps并不僅僅是某種產品、服務或者解決方案，而是AI時代全新的企業數據管理模式，目的是快速發現和使用整個用戶架構中全部數據所蘊含的價值。

因此，無論是數據中臺還是DataOps，頗有“異曲同工之妙”，只是稱呼不同而已。對于傳統行業用戶而言，一味將自己的發展放入到互聯網公司的環境之中有失偏頗，反而一些在傳統行業數據價值實踐有著豐富經驗的廠商的觀點值得學習與借鑒。

近日，在DataOps領域有著深厚積累、豐富實踐經驗、完善產品與解決方案的Hitachi Vantara公司就目前國內數據中臺熱潮、數據分析等熱門話題進行了一番分析。正所謂兼聽則明，Hitachi Vantara關于數據中臺的觀點，值得國內用戶進一步思考。

數據分析的三大典型挑戰

與天生就是數字原生的互聯網公司相比，傳統行業大部分企業，其數字化的進程是從無到有、穩步進化的過程。這就決定了傳統企業數據價值之路不可能一蹴而就。事實也的確如此，從過去的數據倉庫、數據管理，到現在的大數據平臺、數據中臺，傳統企業的數據分析與價值挖掘經歷好幾個階段。

用Hitachi Vantara中國區數據與分析業務總監于希國的觀點概括為：90年代的傳統BI/DW分析時代，這個階段主要以批處理、集中式的方式去解決結構化數據的處理需求；隨著移動互聯網、社交媒體在2005年之后的崛起，大量多源、異構的數據開始產生，從2010年進入到商務大數據的階段，傳統集中式的數據分析方式不能勝任，隨之而來的就是Hadoop這種分布式處理的出現，并且有多個數據分析應用開始出現在互聯網、金融等行業之中；從2016年開始，數據分析真正進入到ML/AI大數據分析階段，傳感、實時、專業、閉環是其顯著特點，并且開始影響社會的方方面面。

Hitachi Vantara中國區數據與分析業務總監于希國

正因為如此，傳統行業在數據分析與價值挖掘之路上可能會面臨著更加復雜的局面。傳統企業可能會面臨著比互聯網公司更加復雜與多樣的數據環境、技術環境和需求特點。于希國介紹，當前很多企業在數據分析上面臨著三個非常明顯的挑戰：

首先是很多用戶的環境存在著傳統數倉產品、開源產品并存的局面，尤其是開源的流行，大量開源產品融入到用戶環境之中，但是這些不同的軟件產品之間很難一起工作，很容易又形成一個個孤島，為后續的數據分析帶來巨大的隱患。

其次，對于傳統行業用戶而言，在多源、異構、海量數據的注入下，不同軟件之間彼此難以溝通，業務調用、性能提升都是非常典型的挑戰。

第三，對于很多用戶存在的傳統數倉產品，大部分都是封閉系統，很難將新的技術、產品嵌入到應用之中，比如像機器學習這些熱門技術與應用等。

正因為如此，數據中臺的價值才得以彰顯。于希國表示，對于數據中臺，Hitachi Vantara稱之為DataOps，即在數據的消費者和數據的管理者之間建立一個很好的連接，使前臺應用服務與后臺數據之間起到很好的銜接與支撐作用，讓數據分析更加自動化、平民化和業務化。

數據中臺需要紐帶

事實上，數據中臺所扮演的角色就是集合數據采集、融合、治理、組織管理、智能分析為一體，以高效的方式將數據以服務方式提供給業務前臺使用，以提升業務運行效率、持續促進業務創新。但是數據中臺的建設往往又具有復雜性，需要根據行業用戶自身的行業屬性、業務實際情況來綜合考慮。因此，數據中臺產品與解決方案不僅需要能夠應對足夠的復雜性，還必須足夠健壯，可以實現好的擴展性和靈活性，以支撐未來業務各種可能的彈性變化。

在于希國看來，數據中臺的建設需要一個紐帶，可以將傳統企業以往各種不同的軟件、解決方案集成起來，就像一個“數據管道”一樣，能夠讓數據實現真正的高效流動與智能化分析。而Hitachi Vantara Pentaho就扮演著這個多功能、智能化、高效易用的“數據管道”角色，對大幅提升數據分析效率、挖掘數據價值起到關鍵作用。

事實上，Pentaho作為一個平臺，涵蓋了從數據接入、集成、交換，到可視化開發、優化，再到數據集市、嵌入式分析，以及機器學習等方面的全數據業務流程。“它讓數據分析真正成為一個閉環。”于希國表示。Pentaho可以實現多種數據源快速導入數據湖，還具有數據集成、數據交換、數據遷移平臺，同時與全程可視化的開發和大數據計算能力相結合，還可以通過自助式數據集市為數據科學家提供各種數據分析平臺，而對于機器學習等人工智能方面的支撐也十分全面。“Pentaho不僅支持機器學習、深度學習，還支持強化學習。”

Pentaho作為一款開源軟件產品，自從被Hitachi Vantara收購之后，其在功能層面就在不斷加強與升級。以目前市面上最新的Pentaho 8.3版本為例，該版本新增了多項功能。比如，升級的數據管道拖拽功能和數據可視化能力使數據的訪問、融合和治理更加方便快捷；又比如，在多云成為大趨勢下，該版本針對多云服務進行了優化與提升：用戶通過Pentaho 8.3可以訪問多個云平臺中的數據，包括AWS、Google Cloud、Microsoft Azure等。“Pentaho擁有很好的嵌入式能力，如果缺一個驅動（Driver），只需要把驅動做成包進來就可以支撐云的操作。”于希國透露道。

計劃于明年2月上市的Pentaho 9.0版本將幫助用戶進一步提升數據集成與分析的效率，它將為數據管道的共享、管理和監視活動提供新的數據流服務，可以減少數據管道的擁堵，從邊緣到云端，提供先進的數據發現、訪問和整合功能。

目前，Pentaho在經過豐富的實踐之后，已經沉淀出十大典型應用場景：統一數據交換平臺、主機下移與數倉遷移、數據清洗轉換性能提升、互聯網爬蟲與機器學習、數據中心智能運維與監控、IoT工業數據采集與分析、數據可視化和自助分析與報表、非結構化數據轉換與分析、數據脫敏與測試開發環境構建、數據多維模型構建與分析。

數據分析平臺需要開放與生態

“最近我們有個客戶在測試ETL數據抽取工具，他已經買入了十多個ETL工具，客戶總結出來的24個場景中，這十余款工具沒有一款可以全部滿足。直到Pentaho的進入，才全部滿足24個場景的應用需求。”這個例子固然體現出Pentaho產品的強大，但是也從側面反映出用戶需求的多樣化、復雜性和快速變化。

因此，Hitachi Vantara全球副總裁兼中國區總經理戴建平認為數據分析平臺往往需要更加開放，“封閉平臺局限性太明顯了。很多技術出現的非常快，數據分析平臺需要更加開放，有能力將這些技術集成起來。Pentaho的優勢在于，第一，開源以及良好的兼容性和開放性，可以跟業界各家廠家，包括本土廠家進行互相的遷移。其次，Pentaho是多種數據源類型高效緊密整合的無縫端到端的開放工具平臺，既可以把不同的孤島、不同的數據鏈路打通成為一個整體，也可以集成到客戶的復雜、多樣的IT環境之中。”

Hitachi Vantara全球副總裁兼中國區總經理戴建平

“我們看到過有那種客戶，最初基于Pentaho早期版本來實施，封閉之后不開源，只靠自己打補丁，逐漸與時代脫節，后面就跟不上發展趨勢了。這家客戶的版本跟現在Pentaho的版本性能相差十倍之多。”于希國透露道。

事實上，Pentaho作為全球最流行的開源商業智能軟件，其開放性、開源性是自身最大的優勢。在被Hitachi Vantara收購之后，Pentaho依然保持著其開放和開源的優勢。當前，Pentaho社區版全球下載量已經超過了750萬，中國地區下載量位列全球第一。Pentaho在全球擁有大量的企業級客戶，已經有超過2500個商業版用戶，和超過20000個產品部署。

不僅如此，Hitachi Vantara在中國市場還強調了生態Co-Creation共創的理念，在金融、教育、醫療、制造等行業均設立了專門的團隊，與合作伙伴、客戶共同進行創新。“每一個行業都存在精準要求和前瞻性的需求，這往往不是一家公司能夠做到的。Hitachi Vantara希望攜手合作伙伴、客戶共同合作，滿足客戶的切實需求。”戴建平補充道。

未來，Hitachi Vantara將致力于從兩個方面拓展Pentaho的市場與生態。首先是對于Pentaho Kettle開源版本的用戶，繼續深挖深層次的合作需求；其次，加強合作伙伴的聯系，包括ISV等合作伙伴，共同探索Pentaho在行業中如何提供更好的平臺工具和推廣方式，以產品集成的方式為客戶提供更加豐富的選擇。

“經常提數據中臺的國內最大的電商平臺之一就是Pentaho在全球最大的下載客戶。”Hitachi Vantara全球副總裁兼中國區總經理戴建平對Pentaho的未來充滿自信。