CapitalOne - Artifactory高可用集群的自動化部署實踐

背景：

本文為大家介紹 Capital One 如何利用自動化流水線實現Artifactory   HA集群進行自動化運維。 Capital One 銀行是美國最大的數字化銀行之一，在 Capital One 的devops體系中應用了JFrog   Artifactory   HA集群進行軟件制品管理。由于 Capital One 規模龐大并且為滿足業務連續性要求，其部署的Artifactory   HA擁有primary和DR（災備）兩套集群的架構。在運維Artifactory   HA集群維護中通過建設和運行自動化的流水線，在不影響用戶使用和業務連續性的前提下，自動地完成了版本升級、配置更新、功能更新，安全檢測等工作，并且在檢測到問題時，實現自動化的回滾。

流水線總體介紹：

通過Jenkins與Github集成驅動流水線。每個PULL請求觸發一個小規模測試并提供快速反饋。 每個Merge會觸發研發環境HA集群范圍的部署，并進行相關測試。標簽（Tag）被用來標記代碼更新的驗證階段和對應的環境。

使用 Terraform 創建基礎設施，實現藍 / 綠的發布。并通過Chef   Cookbook完成整個集群內所有角色服務器配置

流水線構成

靜態分析流水線

通過對代碼靜態分析 對代碼結構進行快速反饋，確保其符合行業標準。同時使用一系列的Linters進行不同類型的代碼分析。

安全掃描流水線

      Capital One 引入DevSecOps概念，能夠在產品上線之前進行安全掃描和漏洞檢測。安全檢查主要使用了靜態安全檢測通過代碼掃描來完成漏洞發現。除了靜態檢測還通過對比分析，使用Jfrog   Xray對依賴進行安全掃描，提高第三方依賴的安全性，并提供修復建議。

單元測試流水線

單元 / 集成測試，用于驗證代碼的更新不會破壞預期的功能。主要應用于用戶自定user   plugin的測試。流水線通過容器方式拉起Artifactory安裝并測試這些 custom plugin ，確保其正確工作，避免在生產環境中進行測試。

構建階段流水線

本階段的所有文件都需要部署在一個高可靠的位置，以便在系統運行時進行自動擴展不需要去依賴其他任何系統包括Artifactory。 Capital One 選擇了S 3 進行外部存儲。所有制品與chef   cookbook都從Artifactory拉取并存到s 3 中。

用于部署的流水線

  部署流水線需要確保新集群部署不會影響到現有Artifactory提供正常服務。

  1 流量切換到DR區域

  2 縮容現有集群，減少節點數量并釋放license給新的集群使用，Aritfactory集群采用多主架構在所容時不會影響剩余節點的正常工作

  3 新部署集群復用原油的數據庫與s 3 存儲內容做到無痕切換

  4 當新集群完成部署后，業務流量進行回切

  5 主集群完成升級后，DR集群進行升級

  由于Artifactory使用數據同步機制，因此新節點加入集群的過程對用戶透明。

配置測試流水線

在工作節點上線前需要對其配置進行檢測，Jenkins通過ssh方式驅動新節點進行測試，確保Artifactory，Nginx，Datadog，Splunk這些工作節點運行正常。

確保所有的工作節點 配置文件的內容、位置、權限都部署正確，以及所有的網絡端口都正常開通。

系列測試流水線

系列測試是確保Artifactory的各個repositories運行正常。通過容器拉取所有種類的repositories中的包進行測試，同時檢測所有virtual   repositories，并且需要 測新的系統配置是否會影響制品依賴的解析。

性能測試流水線

確保發布產品不會存在性能問題。 Capital One 使用Jmeter工具模擬生產級流量并分析， 1 5 分鐘的負載測試作為流水線的一部分，使用1小時負載測試主線升級以及重大變更場景。

由于Artifactory支持多種類型的包因此在流量模型是一個挑戰， Capital One 通過分析日志獲取常用API，并在流量峰值時期測試API調用速度。

回滾策略流水線

Capital One 設計了兩個回滾策略：

1  In-region回滾。當部署后的測試失敗時，馬上啟動自動化回滾，刪除新的集群，并恢復舊的集群。

2  DR容錯回滾。當主集群升級成功后，或監測幾天用戶流量，沒有問題的時候再更新容災集群。如果在這幾天中發現問題，就會啟動容錯回滾：用戶流量切換到DR集群，主集群回滾到之前版本，數據庫回滾到之前的快照，再通過 Artifactory  Replication同步數據，最后再把流量切換回回滾后的工作集群。目前

由于 數據庫的回滾可能會有DataBase   schema的變化， Capital One 目前在數據庫回滾操作上依然使用手動方式完成。

自動化流水線部署帶來的收益

Capital One 通過自動化流水線部署Artifactory   HA為團隊帶來的收益：

* 加快部署進度并且使開發人員能更專注于代碼開發本身，不再需要花費時間維護制品管理的工具。

*Capital One 更好的擴展性，整個集群的擴縮容都可以由流水線完成

*全面的測試流程確保用戶體驗

*自動化回滾策略，加快故障檢測和響應，減少對生產業務影響

更多 精彩內容 請關注公眾號： JFrog 杰蛙 DevOps

  更多技術分享 可以關注 2 月 18 日在線課堂：《Artifactory企業版介紹》

報名鏈接：https://www.bagevent.com/event/6365977

課程介紹

在企業數字化轉型的背景下，應用的更新迭代周期正在不斷加速，如何在多語言環境下建設一套高性能，高可用的應用制品管理平臺成為企業在數字化轉型中的一個新課題。

課程收益

本期通過演示事例說明如何通過Artifactory企業版實現制品管理，元數據管理，制品與依賴安全管理。并且實現Artifactory與Jenkins的集成使用。

本期話題

1 artifactory企業版的特性以及高可用架構

2 如何通過Artifactory實現多語言環境的制品管理

3 通過Artifactory建立企業級制元數據管理平臺

4 如何實現制品依賴安全管理

課堂活動

本期課堂講師會在結束前進行抽獎活動

第一名：小愛音響

第二名：JFrog 新版 T 恤

第三名：JFrog 新版 T 恤