微服務業務開發三個難題－拆分、事務、查詢（下）

上集我們闡述了使用微服務體系架構的關鍵障礙是領域模型，事務和查詢，這三個障礙似乎和功能拆分具有天然的對抗。只要功能拆分了，就涉及這三個難題。

然后我們向你展示了一種解決方案就是將每個服務的業務邏輯實現為一組DDD聚合。然后每個事務只能更新或創建一個單獨的聚合。然后通過事件來維護聚合（和服務）之間的數據一致性。

在本集中，我們將會向你介紹使用事件的時候遇到了一個新的問題，就是怎么樣通過原子方式更新聚合和發布事件。然后會展示如何使用事件源來解決這個問題，事件源是一種以事件為中心的業務邏輯設計和持久化的方法。之后，我們會闡述微服務架構下的查詢困難的問題。然后向你介紹一種稱為命令查詢責任分離（CQRS）的方法來實現可擴展和高性能的查詢。

可靠地更新狀態和發布事件

從表面上看，使用事件來保持聚合之間的一致性似乎很簡單。

當一個服務創建或更新數據庫的一個聚合時，它只是簡單地發布一個事件。

但是，這只是表象，其實還有一個核心問題就是：更新數據庫和發布事件必須是原子的。否則，就會出現類似這樣的情況：如果服務在更新數據庫之后但在發布事件之前崩潰，則系統就出現了不一致的問題。

傳統的解決方案是一般都是使用分布式事務來搞，一個涉及數據庫和消息broker的分布式事務。但是，由于上一集所述的原因，2PC不是一個可行的選擇。

其實除了2PC ，還有幾種解決這個問題的方法。

一種解決方案就是，應用程序可以通過向類似Kafka這樣的消息中間件的broker發布一個事件來執行更新。然后一個消息consumer訂閱這個事件，通過消費該事件然后最終更新數據庫。這種方法可以確保數據庫被更新并且事件被發布。

但是缺點就是這種一致性模型過于復雜，至少有點復雜。而且應用程序不能夠立即讀取到自己剛剛的寫入。

圖1 - 通過發布事件到消息broker來更新數據庫

另一種做法就是，如圖2所示，就是應用程序追加事務日志到數據庫（a.k.a.commit log），將每個記錄的更改轉換為事件，然后把事件發布到消息broker。這種做法的一個重要好處就是應用程序本身不需要任何的改變。

然而，一個缺點是，這種做法是一種底層（low-level）的事件，而不是上層業務事件。可能難以將上層業務事件（由于數據庫更新的原因）從底層更改逆轉到表中的行。

原文：it can be difficult toreverse engineer the high-level business event - the reason for the databaseupdate - from the low-level changes to the rows in the tables.

圖2 - 追加數據庫事務日志

第三種解決方案就是，圖3所示的這種，使用數據庫表來作為一種臨時性的message queue。當一個服務更新一個聚合，它會insert一個事件到EVENTS表，作為本地ACID事務的一部分。然后一個單獨的進程輪詢EVENTS表并將事件發布到消息broker。

這種做法的好處就是service能夠發布high-level的業務事件。

缺點是這種做法容易出錯，有這種潛在的可能，因為事件發布代碼必須與業務邏輯同步。

圖3 - 使用數據庫表作為message queue

上面三種做法都有比較典型的缺點。

發布一個事件到message broker并稍后更新的做法總是不能提供一種read-your-writes的一致性，也就是只能保證最終一致。

追加事務日志提供了一致的讀取，但卻不能發布高級業務事件。

使用數據庫表作為message queue提供了一致的讀取并且可以發布high-level業務事件，但

卻對開發人員有依賴，就是開發人員得記得在狀態發生改變的時候加上發布事件的邏輯。

幸運的是，我們還有另外一種解決方案，那就是event sourcing，事件源。它是一種針對持久化和業務邏輯的一種以事件為中心方法，稱為事件源。這里解釋的不夠清楚，稍后慢慢展開。

使用事件源來開發微服務

事件源（Event sourcing）是一種以事件為中心的持久化方法。這不是一個新的概念。

我第一次了解到這個概念是在大概五年多以前，之后對這個新生事物一直充滿了好奇，直到我開始開發微服務。接下來，你將會看到通過事件源來實現事件驅動的微服務架構是多么不錯的一種方法。

一個service通過event sourcing使用一系列的事件來持久化每個聚合。

當創建或更新一個聚合的時候，這個service會在數據庫里保存一個或多個事件，這種數據庫里存儲event的方式可以叫做是event store，以下我們就叫“事件數據庫”。

它通過加載這些事件并replay這些事件，從而實現更新聚合的當前狀態。

在函數式編程里，一個service通過執行一個函數式的fold或reduce來重構聚合，而不是事件。

由于事件就是狀態，所以你就不會再有原子地更新狀態和發布事件的問題了。

例如，比如訂單服務（Order Service）。不是將每個訂單作為一行存儲在ORDERS表中，而是將每個訂單聚合作為一系列的事件，比如訂單已創建，訂單已批準，訂單已發貨等持久化到EVENTS表中。圖4顯示了這些事件如何存儲在基于SQL的事件數據庫（event store）中。

圖4 - 使用事件源來持久化一個訂單

每列的意思：

• entity_type 和entity_id –唯一標識一個聚合

• event_id – 事件ID，唯一標識

• event_type – 事件類型

• event_data -事件屬性的序列化JSON表示

一些事件包含大量數據。例如，訂單創建（Order Created）事件包含完整訂單，包括其訂單項，付款信息和交貨信息。其他事件，如訂單出貨（Order Shipped）事件，包含很少或沒有數據，只是表示狀態轉換。

事件源（Event Sourcing）和發布事件

嚴格的講，事件源只是簡單的將聚合們作為事件進行了持久化。更直接的說，就是使用事件源來作為一種可靠的事件發布機制。保存一個事件是一個固有的原子操作，它可以確保事件數據庫（event store）把事件傳遞給感興趣的服務。

例如，如果事件被存儲在上面所示的EVENTS表中，訂閱者可以簡單地輪詢表以查找新事件。更復雜的事件數據庫（event store）將使用另一種做法，這種做法具有更高性能和可擴展性。例如，Eventuate Local使用追加事務日志的方式。它從MySQL replication流中讀取插入到EVENTS表中的事件，并將它們發布到Apache Kafka。

至于Eventuate Local是個什么鬼？你可以去github 搜搜。下面放一張圖：

使用Snapshot改善性能

訂單（Order）聚合具有相對較少的狀態轉換，因此它只有少量的事件。

所以，針對這些事件查詢事件數據庫（event store）并重構Order聚合，效率是不錯的。然而，一些聚合有很多的事件。例如，客戶（Customer）聚合可能有大量的預留信用（Credit Reserved）事件。隨著時間的推移，加載和消費（fold）這些事件的效率會越來越低。

一個常見的解決方案是定期保存聚合狀態的快照（snapshot）。應用程序通過加載最近的快照然后從快照創建之后發生的那些事件開始來恢復聚合的狀態。

在函數式下，快照就是折疊（fold）的初始值。（原文：In functional terms, the snapshot is the initial value of thefold. ）如果聚合是一個簡單，容易序列化的結構，則快照可以簡單地是JSON序列化格式。更復雜的聚合可以使用Memento模式（Mementopattern）進行快照。至于這種設計模式具體是什么鬼，你可以自己查閱。

在線商店示例中的客戶（Customer）聚合具有非常簡單的結構：客戶的信息，他們的信用額度（credit limit）和他們的信用預留（credit reservations）。

客戶（Customer）的快照只是其狀態的JSON序列化。圖5展現了如何從與事件＃103的客戶（Customer）的狀態相對應的快照中重新創建一個客戶（Customer）。客戶服務（Customer Service）只需要加載快照和加載事件＃103后發生的事件。

圖5 – 使用快照來優化性能

客戶服務（Customer Service）通過反序列化快照的JSON后加載并消費＃104到＃106的事件來重新創建那個客戶（Customer）。

事件源實現

事件數據庫（event store）是數據庫和消息borker的混合體。它是一個數據庫，因為它有一個API，用于通過主鍵插入和檢索聚合的事件。事件數據庫（event store）也是消息broker，因為它具有用于訂閱事件的API。

有一些不同的方法來實現事件數據庫（event store）。

一個做法是編寫自己的事件源框架。例如，您可以在RDBMS中持久化事件。一種簡單的，但性能略低的方式來發布事件，然后訂閱者輪詢事件的EVENTS表。

另一個做法是使用專用的事件數據庫（event store），它通常能夠提供更豐富的功能以及更好的性能和可擴展性。“事件源”的開發者之一Greg Young有一個基于.NET的開源事件數據庫，稱為Event Store。 Lightbend，這個公司以前叫Typesafe，有一個叫Lagom的微服務框架，是基于事件源的。這里推薦一個我自己的創業項目，Eventuate，一個用于微服務的事件源框架，你可以把它作為一個云服務，你也可以把它認為是一個基于Kafka 或RDBMS的開源項目。

事件源的好處與缺點

事件源有好處也有缺點。

事件源的一個主要優點是它可以在聚合的狀態發生變化時可靠地發布事件。它為事件驅動的微服務架構打下了良好的基礎。而且，由于每個事件都可以記錄進行更改的用戶的身份，因此事件源還提供了一個準確的審核日志。事件流可用于各種其他目的，包括向用戶發送通知以及應用集成等等。

事件源的另一個好處是它存儲每個聚合的整個歷史。你可以輕松實現檢索聚合的過去狀態的時態查詢。要確定在給定時間點的聚合的狀態，您只需消費（fold）直到該點為止發生的事件。例如，可以直接計算過去某個時間點客戶的可用信用額。

事件源也避免了O / R阻抗失衡的問題。這是因為它持久化了事件而不是聚合。事件通常具有簡單，容易序列化的結構。服務（service）可以通過序列化其狀態的記錄來對復雜聚合進行快照。 Memento模式在聚合和它的序列化表示之間增加了一個中間層。

有關O/R impedance mismatch：

對象關系阻抗失衡（object-relational impedance mismatch ）是當關系數據庫管理系統（RDBMS）由以面向對象的編程語言或風格編寫的應用程序（或多個應用程序）服務時經常遇到的一組概念和技術困難，特別是因為對象或類定義必須映射到關系模式定義的數據庫表。

事件源當然不是完美的，它也有一些缺點。它是一個完全不一樣的和而且你可能并不熟悉的編程模型，所以要花一些時間去學習。為了使現有應用程序使用事件源，你必須要重寫業務邏輯。幸運的是，這是一個相當機械的轉換，你可以在將應用程序遷移到微服務的時候做這件事情。

事件源的另一個缺點是消息broker通常保證至少一次（at-least once）傳遞。非冪等的事件處理handler必須檢測并丟棄那些重復的事件。事件源框架可以通過為每個事件分配單調遞增的id來解決這個問題。事件處理handler然后可以通過對最大事件ID跟蹤來檢測重復事件。

事件源的另一個局限就是事件（和快照！）的schema將隨時間發展。 由于事件永久存儲，當服務重建聚合時，服務可能需要折疊與多個schema版本對應的事件。 簡化服務的一種方法是，當事件源框架從事件數據庫（event store）加載它們時，將所有事件轉換為最新版本的模式。因此，服務只需消費（fold）最新版本的事件。

事件源的另一個缺點是查詢事件數據庫（event store）可能比較困難。讓我們想象一下，例如，您需要找到信用額度較低的客戶。你不能簡單地寫SELECT * FROM CUSTOMERWHERE CREDIT_LIMIT <？ AND c.CREATION_DATE>？。因為根本就沒有信用額度（CREDIT_LIMIT）這樣的列。相反，你不得不使用嵌套SELECT的更復雜而且還可能無效的查詢，通過處理和消費（fold）事件來計算信用額度。更糟糕的是，基于NoSQL的事件數據庫（event store）通常只支持基于主鍵的查找。因此，必須使用“命令查詢責任分離“（CQRS）的方法實施查詢。CQRS 的全稱：Command Query Responsibility Segregation。

我們接下來的內容就是介紹CQRS。

使用CQRS實現查詢

事件源是在微服務體系結構中實現高效查詢的主要障礙。這還不是唯一的問題，還有比如你使用SQL去查找一些高價值訂單的新客戶。

SELECT *
FROM CUSTOMER c, ORDER o
WHERE
   c.id = o.ID
     AND o.ORDER_TOTAL > 100000
     AND o.STATE = 'SHIPPED'
     AND c.CREATION_DATE > ?

在微服務架構中，你不能join CUSTOMER和ORDER這兩張表。每個表由不同的服務所擁有，并且只能通過該服務的API訪問。你不能編寫連接多個服務所擁有的表的傳統查詢。事件源使事情變得更糟，阻礙你編寫簡單，直接的查詢。讓我們來看看在微服務架構中是如何實現類似查詢的。

如何使用CQRS

實現查詢的好方法是使用稱為命令查詢責任分離（CQRS）的體系結構模式： Command Query Responsibility Segregation。如名稱所示，CQRS將應用程序分為兩部分。第一部分是命令側（command-side），其處理命令（例如，HTTP POST，PUT和DELETE）以創建，更新和刪除聚合。前提是這些聚合是使用事件源實現的。應用程序的第二部分是查詢側（query-side），其通過查詢聚合的一個或多個物化視圖（materialized views）來處理查詢（例如HTTP GET）。查詢側通過訂閱由命令側發布的事件來保持視圖（view）與聚合（aggregate）同步。

查詢側（query-side）視圖可以使用任何類型的能滿足需求的數據庫來實現。根據需求，應用程序的查詢端可能使用一個或多個以下數據庫：

表1. 查詢側視圖數據庫選擇

在很多場合，CQRS是一個以事件為基礎（event-based）的綜合體，比如使用RDBMS作為記錄系統再使用比如Elasticsearch來處理文本查詢。CQRS的查詢側可以使用其它類型的數據庫，支持多種類型的數據庫，不僅僅是文本搜索引擎。而且，它通過訂閱事件準實時地去更新查詢側的視圖。

圖6顯示了應用于在線商店示例的CQRS模式。客戶服務（Customer Service）和訂單服務（Order Service）是命令端服務。它們提供用于創建和更新客戶和訂單的API。客戶視圖服務（Customer View Service）是查詢側服務。它提供了一個用于查詢客戶的API。

圖6 – 在線商店中使用 CQRS

客戶視圖服務（Customer View Service）訂閱命令端服務發布的客戶（Customer）和訂單（Order）事件。它更新那個用MongoDB實現的視圖存儲（view store）。該服務維護一個MongoDB文檔集合，每個客戶一個。每個文檔都具有客戶詳細信息的屬性。它還具有存儲客戶最近訂單的屬性。此集合支持各種查詢，包括上面說到的那些查詢。

CQRS的好處和缺點

CQRS既有優點也有缺點。 CQRS的一個主要優點是它可以在微服務架構中實現查詢，特別是使用事件源的架構。它使應用程序有效地支持一組不同的查詢。另一個好處就是把命令側和查詢側分離，達到了解耦的作用。

CQRS也有一些缺點。一個缺點就是需要額外的工作來開發和維護這套系統。你需要開發和部署更新和查詢視圖的查詢端服務。還有就是你需要部署視圖數據庫（view store）。

CQRS的另一個缺點是處理命令側和查詢側視圖之間的“滯后”。查詢層相比命令側存在一定的時延。更新聚合，然后立即查詢視圖的客戶端應用程序可能會看到聚合的以前版本。所以必須通過一些手法來避免暴露這些潛在的不一致性給用戶。

總結

使用事件來維護服務之間的數據一致性時的主要挑戰是原子級地更新數據庫和發布事件。傳統的解決方案是使用跨數據庫和消息broker的分布式事務。然而，2PC不是現代應用的可行技術。更好的方法是使用事件源，這是一種以事件為中心的方法來處理業務邏輯設計和持久化。

微服務架構中的另一個挑戰是查詢。查詢通常需要join由多個服務擁有的數據。但是，join不能再使用了，因為數據對每個服務都是私有的。使用事件源還使得更加難以有效地實現查詢，因為當前狀態沒有被顯式地存儲。解決方案是使用命令查詢責任分離（CQRS）并維護可以容易查詢的聚合的一個或多個物化視圖。