圖數據庫Neo4j應用在在GIS系統的優勢

下面講講關于圖數據庫Neo4j應用在在GIS系統的優勢，文字的奧妙在于貼近主題相關。所以，閑話就不談了，我們直接看下文吧，相信看完圖數據庫Neo4j應用在在GIS系統的優勢這篇文章你一定會有所受益。

1. 概述

1.1. 圖數據庫簡介

圖數據庫（Graph Database）是基于圖論實現的一種新型的NoSQL數據庫。他的數據存儲結構和數據的查詢方式都是以圖論為基礎的，圖論中圖的基本元素為節點和邊，在圖數據庫中對應的就是節點和關系。

在圖數據庫中，數據與數據之間的關系通過節點和關系構成一個圖結構并且在此結構上實現數據庫的所有特性，如對圖數據對象進行創建、讀取、更新、刪除（Create、Read、Update、Delete，簡稱CRUD）等操作的能力，還有處理事務的能力和高可用性等。

1.2. 應用案例

從系統科學的視角來看，世界是由各種系統構成的，而系統由由系統的各個組成部分機器之間的聯系組成。從這個層面，便能直接的將系統及其之間的聯系映射為數學圖論中的結點與關系上來，從而運用圖論對世界進行直觀建模，圖數據庫技術以圖論為根，也可以說是表達多姿多彩世界的基礎性、通用性“語言”。這種“語言”描述出來的仿真系統與原系統相比具有“高保真”得特性，與人們通常對系統的認知是一致的，并且非常直觀、自然、直接和高效，不需要中間過程的轉化和處理--這種中間過程的轉換和處理往往把問題復雜化或者漏掉很多有價值的信息。正是由于圖數據庫技術可以直接描述各種復雜的現實世界系統，才使其具有廣泛的適用性和更高的應用價值。

事實上，Neo4j已經成功“俘獲”大量客戶，并且客戶數量和應用領域還在不斷增長之中。這些客戶包括思科、惠普、沃爾曼、領英、阿迪達斯、和FT金融時報等國際知名企業或機構。Neo4j客戶的行業分類目前主要集中在社交網絡、人力資源與招聘、金融、保險、零售、廣告、電子商務、物流、交通、IT、電信、制造業、打印、文化傳媒和醫療等領域。上述大量的Neo4j客戶在未采用圖數據庫產品之前反復抱怨原有產品的不足，有待新產品去解決和實現，通稱為：痛點，下表中列出客戶和主要的痛點：

2. 圖數據庫在的應用及優勢

2.1. 圖數據庫的優勢

Neo4j最初的設計動機是為了更好的描述實體之間的聯系。在現實生活中，每個實體都與周圍的其他實體有著千絲萬縷的關系，這些關系里存在著大量的潛在信息。但是傳統的關系型數據庫更加注重刻畫實體內部的屬性，實體與實體之間的關系主要通過外鍵來實現。因此在查詢一個實體的關系時需要join操作，特別是深層次的關系查詢需要大量的join操作，而join操作通常又非常耗時。隨著現實世界中關系數據的急劇增加，導致關系型數據庫已經逐漸的難以承載查詢海量數據深層次關系需要大量數據庫表操作帶來的運算復雜性，Neo4j在這樣的情況下應運而生。

2.1.1. 免索引鄰接

Neo4j有一個重要的特點，就是用來保證關系查詢的速度，即免索引鄰接屬性，數據庫中的每個節點都會維護與它相鄰節點的引用。因此每個節點都相當于與他相鄰節點的微索引，這比使用全局索引的代價要小得多。這意味著查詢時間和圖的整體規模無關，只與他附近節點的數量成正比。在關系型數據庫中使用全局索引連接每個節點，這些索引對每個遍歷都會增加一個中間層，因此會導致非常大的計算成本。而免索引連接為圖數據庫提供了快速高效的圖遍歷能力。下圖展示了關系型數據庫和Neo4j在查找關系時的區別：

2.2. 風險控制

1、一組兩個或兩個以上的人組成一個刷單環路

2、監控一個打車訂單的整個生命周期

當前我們一個訂單的數據涉及到多個表，隨著業務發展，訂單數據量越來越多的時候，數據庫面臨的連接操作越來越多：

在數據決策系統中最長的SQL達到400行，連接了七個表，使用Neo4j的賽博語言可以大大減少查詢的復雜度。

2.3. 地理信息系統

1、路網系統搭建

可以將獲取的點和路徑經緯度數據導入到Neo4j，通過其內置的最短路徑函數查詢最短的導航路徑。可以給現在的軌跡數據進行糾偏。

2、Neo4j Spatial庫

Neo4j Spatial是一個讓Neo4j能夠進行完整的空間操作的庫，支持ESRI Shapfile文件和OSM數據的導入，支持大多數的幾何形狀如點、線、多邊形等，能夠對時空數據進行拓撲操作如包含、覆蓋、相交等。此外，Neo4j Spatial除了本身的基于空間結構的R-Tree索引外，可以靈活的支持其他索引，只要能夠將數據映射為幾何形狀都可以使用Neo4j Spatial處理。這些特征使得Neo4j對時空數據的分析和處理效率更高、使用范圍更廣。

3. 配置要求

3.1. 數據大小

（武漢路網）目錄如下：

文件總大小截圖

經過清洗匯總去重導入到圖數據庫中顯示節點數據總共：

當前數據庫節點數：

總共武漢有經緯度點約200萬，點與點的關系約400萬，全部保存進去數據文件約占磁盤空間4.5G，加上后續要添加點與點的距離和角度等屬性數據，武漢路網數據總共約占磁盤10G。

根據城市規模計算，與武漢同等規模城市（一線城市、新一線城市）有：

北京市、上海市、廣州市、深圳市、成都市、杭州市、武漢市、重慶市、南京市、天津市、蘇州市、西安市、長沙市、沈陽市、青島市、鄭州市、大連市、東莞市、寧波市。保守估計占據磁盤空間200G。二線城市路網數據保守估計100G。城市之間數據約100G（數據量通過POI比例所占估計），所以申請機器磁盤500G。

3.2. CPU、內存要求

用py2neo訪問圖數據庫，模擬二十個線程不斷計算最短路徑，機器配置和CPU情況如下：

程序截圖

機器配置截圖

CPU狀態截圖

內存狀態截圖

圖中采用8核心處理器、8G內存，CPU和內存基本用完，訪問頻率約在20次1秒，根據日百萬訂單規劃也就是每秒11.57次，高峰時期，每秒在10這個數量級。保留一定的空余給操作系統使用，所以申請16G內存。

4. 擴展方案

4.1. 只讀副本

只讀副本的主要職責是擴展圖操作的工作負載（比如：Cypher查詢、過程處理等）。只讀副本就像是核心云服務器中受保護數據的高速緩存，但他們不是簡單的的鍵值高速緩存。事實上，只讀副本是能夠完成任意（只讀）圖查詢和過程處理的全功能的Neo4j數據庫。

只讀副本通過事務日志以異步的方式從核心云服務器復制數據。只讀副本會周期性的(通常在毫秒范圍內)輪詢核心云服務器，以查找自上次輪詢后處理的任何新事務，然后核心云服務器將這些新事務發送到只讀副本。大量的只讀副本可以從相對較少的核心云服務器復制數據，從而確保大量的圖查詢工作負載得以分攤。

4.2. 城市分庫

因為我們的查詢具有較高的獨立性，例如一個在武漢的網約車的路徑完全在武漢數據范圍內完成查詢。所以當后續負載壓力提高時，可以將不同城市的數據分別部署到不同的機器上，城市間城際拼車需要的數據可以另外部署。也可根據不同的經緯度范圍放置數據來分攤查詢壓力。

對于以上圖數據庫Neo4j應用在在GIS系統的優勢相關內容，大家還有什么不明白的地方嗎？或者想要了解更多相關，可以繼續關注我們的行業資訊板塊。