Cloudera數據加密概述及用法

這篇文章主要介紹“Cloudera數據加密概述及用法”，在日常操作中，相信很多人在Cloudera數據加密概述及用法問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Cloudera數據加密概述及用法”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

Cloudera數據加密概述

加密是使用數字密鑰對各種組件（例如文本，文件，數據庫，密碼，應用程序或網絡數據包）進行編碼的過程，因此只有適當的實體（用戶，系統進程等）才能進行解碼（解密） ）項，然后查看，修改或添加到數據中。Cloudera提供了加密機制來保護持久保存在磁盤或其他存儲介質上的數據（靜態數據或簡單地稱為數據加密）以及在網絡上移動時的數據（傳輸加密中的數據）。

在政府，衛生，金融，教育和許多其他環境中，數據加密是強制性的。例如，《聯邦信息安全管理法案》（FISMA）規范了患者的隱私問題，而《支付卡行業數據安全標準》（PCI DSS）規范了信用卡處理器的信息安全性。這只是兩個例子。

盡管如此，使用案例中需要使用何種程度的隱私，機密性和數據完整性的Cloudera集群中包含的大量數據（使用許多不同的組件進行部署）仍然必須支持。Cloudera支持并在本概述中討論的加密機制旨在實現這一目標。

保護靜態數據

保護靜止數據通常意味著對存儲在磁盤上的數據進行加密，并允許授權用戶和進程（僅授權用戶和進程）在手頭的應用程序或任務需要時解密數據。對于靜態數據加密，必須分發和管理加密密鑰，應定期旋轉或更改密鑰（以減少密鑰被泄露的風險），并且許多其他因素使該過程復雜化。

但是，僅加密數據可能不夠。例如，管理員和其他具有足夠特權的人可能有權訪問日志文件，審核數據或SQL查詢中的個人身份信息（PII）。根據特定的用例，在醫院或財務環境中，可能需要從所有此類文件中刪除PII，以確保對日志和查詢具有特權的用戶（其中可能包含敏感數據）仍然無法在查看數據時使用不應該。

Cloudera提供了補充方法來加密靜態數據，并提供了屏蔽日志文件，審核數據和SQL查詢中的PII的機制。

可用的加密選項

Cloudera提供了多種機制來確保敏感數據的安全。CDH提供透明的HDFS加密，確保所有敏感數據在存儲到磁盤之前都已加密。通過將HDFS加密與Navigator Key Trustee的企業級加密密鑰管理結合使用，可以使大多數企業遵守法規。對于Cloudera Enterprise，可以通過Navigator Encrypt增強HDFS加密，以保護數據之外的元數據。考慮到數據節點是并行加密的，使用這些解決方案的Cloudera集群照常運行，并且對性能的影響非常低。隨著集群的增長，加密也隨之增長。

此外，此透明加密針對英特爾芯片組進行了優化，以實現高性能。英特爾芯片組包括AES-NI協處理器，該處理器提供特殊功能，可使加密工作負載運行得非常快。Cloudera利用Intel最新的技術進步來獲得更快的性能。

密鑰受托者KMS與密鑰受托者服務器和密鑰HSM結合使用，可為存儲的密鑰材料提供基于HSM的保護。密鑰受托者KMS在KMS上本地生成加密區域密鑰材料，然后使用HSM生成的密鑰對該密鑰材料進行加密。相反，Navigator HSM KMS服務依賴于HSM來生成和存儲所有加密區域密鑰。使用Navigator HSM KMS時，加密區域密鑰材料起源于HSM，并且永遠不會離開HSM。這樣可以實現最高級別的密鑰隔離，但是需要一些網絡開銷來進行HSM的網絡調用，以進行密鑰生成，加密和解密操作。對于大多數生產方案，密鑰受托人KMS仍然是建議的HDFS加密密鑰管理解決方案。

下圖顯示了使用示例部署：

• Cloudera透明HDFS加密可加密HDFS上存儲的數據

• Navigator Encrypt對與Cloudera Manager，Cloudera Navigator，Hive和HBase相關的所有其他數據（包括元數據，日志和溢出數據）進行加密

• Navigator Key Trustee，用于進行健壯，容錯的密鑰管理

除了對Cloudera集群的數據層應用加密之外，還可以在網絡層應用加密，以加密集群節點之間的通信。

加密不會阻止對集群具有完全訪問權限的管理員查看敏感數據。要混淆包括PII在內的敏感數據，可以配置集群以進行數據編輯。

Cloudera集群的數據整理

編輯是一個使數據模糊的過程。它可以通過混淆個人身份信息（PII）來幫助組織遵守PCI（支付卡行業）和HIPAA之類的行業法規和標準，從而使其無法使用，除非工作需要此類訪問的人員才能使用。例如，HIPAA立法要求，除適當的醫生（和患者）外，任何人都不能使用患者PII，并且不得使用任何患者的PII來確定個人身份或將其與健康數據相關聯。通過將PII轉換為無意義的模式（例如，將美國的社會保險號轉換為XXX-XX-XXXX 字符串。

數據編輯與Cloudera 加密技術分開工作，Cloudera 加密技術不會阻止對集群具有完全訪問權限的管理員查看敏感的用戶數據。它確保集群管理員，數據分析人員和其他人員不會看到不在其工作域內的PII或其他敏感數據，并且同時也不會阻止具有適當權限的用戶訪問他們擁有特權的數據。

保護動態數據

對于傳輸中的數據，實施數據保護和加密相對容易。有線加密內置在Hadoop堆棧中（例如SSL），并且通常不需要外部系統。使用會話級一次性密鑰通過會話握手以及立即傳輸和后續傳輸來構建此傳輸中數據加密。因此，由于密鑰的臨時性，傳輸中的數據避免了許多與靜態數據相關的密鑰管理問題，但它確實依賴于正確的身份驗證；證書泄露是身份驗證的問題，但可能會破壞有線加密。顧名思義，傳輸中的數據涵蓋了數據的安全傳輸和中間存儲。這適用于所有過程間通信，在同一節點內或節點之間。有三種主要的溝通渠道：

• HDFS透明加密：使用HDFS透明加密加密的數據是端到端的保護。寫入和寫入HDFS的任何數據只能由客戶端加密或解密。HDFS無權訪問未加密的數據或加密密鑰。這支持靜態加密和傳輸中加密。

• 數據傳輸：第一個通道是數據傳輸，包括將數據塊讀取和寫入HDFS。Hadoop在其原生的基于TCP / IP的直接傳輸（稱為）周圍使用了啟用SASL的包裝器DataTransportProtocol，以保護DIGEST-MD5信封內的I / O流。此過程還使用安全的HadoopRPC（請參閱遠程過程調用）進行密鑰交換。但是，HttpFS REST接口不提供客戶端與HDFS之間的安全通信，僅提供使用SPNEGO進行的安全身份驗證。

• 為了在MapReduce作業的混洗階段（即在作業的Map和Reduce部分之間移動中間結果）期間在DataNode之間進行數據傳輸，Hadoop使用傳輸層安全性（TLS）通過HTTP Secure（HTTPS）保護了通信通道）。

• 遠程過程調用：第二個通道是對Hadoop集群中各種系統和框架的遠程過程（RPC）的系統調用。與數據傳輸活動一樣，Hadoop具有自己的RPC本地協議，稱為HadoopRPC，用于Hadoop API客戶端通信，Hadoop內部服務通信以及監視，心跳以及其他非數據，非用戶活動。HadoopRPC支持SASL，以實現安全傳輸，并且默認設置為Kerberos和DIGEST-MD5，具體取決于通信類型和安全設置。

• 用戶界面：第三個渠道包括Hadoop集群中各種基于Web的用戶界面。對于安全運輸，解決方案很簡單；這些接口使用HTTPS。

TLS / SSL證書概述

可以使用三種不同的方式對證書進行簽名：

CDH組件的TLS / SSL加密

Cloudera建議在集群上啟用SSL之類的加密之前，先使用Kerberos身份驗證保護集群。如果為尚未配置Kerberos身份驗證的集群啟用SSL，將顯示警告。

Hadoop服務在SSL的使用方面有所不同，如下所示：

• HDFS，MapReduce和YARN守護程序既充當SSL服務器又充當客戶端。

• HBase守護程序僅充當SSL服務器。

• Oozie守護程序僅充當SSL服務器。

• Hue充當上述所有內容的SSL客戶端。

啟動時，充當SSL服務器的守護程序將加載密鑰庫。當客戶端連接到SSL服務器守護程序時，服務器會將在啟動時加載的證書傳輸到客戶端，然后客戶端使用其信任庫來驗證服務器的證書。

有關為CDH服務設置SSL / TLS的信息，請參閱適用的組件指南。

Hadoop項目中的數據保護

下表列出了CDH組件和Cloudera Manager可以利用的各種加密功能。

加密機制概述

靜態數據和傳輸加密中的數據在集群的不同技術層起作用：

來源：https://docs.cloudera.com/cloudera-manager/7.0.3/security-overview/topics/cm-security-encryption-overview.html

到此，關于“Cloudera數據加密概述及用法”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！