Mycat三大核心配置文件是什么

這篇文章主要介紹“Mycat三大核心配置文件是什么”，在日常操作中，相信很多人在Mycat三大核心配置文件是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Mycat三大核心配置文件是什么”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

Mycat的三大核心配置文件：server.xml、schema.xml和rule.xml。

server.xml

server.xml幾乎保存了所有mycat需要的系統配置信息。其在代碼內直接的映射類為SystemConfig類。現在就對這個文件中的配置進行相關的介紹

user標簽

<user name="test">  <property name="password">test</property>  <property name="schemas">TESTDB</property>  <property name="readOnly">true</property> </user>

server.xml中的標簽本就不多，這個標簽主要用于定義登錄mycat的用戶和權限。例如上面的例子中，我定義了一個用戶，用戶名為test、密碼也為test，可訪問的schema也只有TESTDB一個。如果我在schema.xml中定義了多個schema，那么這個用戶是無法訪問其他的schema。在mysql客戶端看來則是無法使用use切換到這個其他的數據庫。如果使用了use命令，則mycat會報出這樣的錯誤提示：ERROR  1044 (HY000): Access denied for user 'test' to database  'xxx'這個標簽嵌套的property標簽則是具體聲明的屬性值，正如上面的例子。我們可以修改user標簽的name屬性來指定用戶名;修改password內的文本來修改密碼;修改readOnly為true  或false來限制用戶是否只是可讀的;修改schemas內的文本來控制用戶可放問的schema;修改schemas內的文本來控制用戶可訪問的schema，同時訪問多個schema的話使用  , 隔開，例如:

<property name="schemas">TESTDB,db1,db2</property>

system標簽

這個標簽內嵌套的所有property標簽都與系統配置有關，請注意，下面我會省去標簽property直接使用這個標簽的name屬性內的值來介紹這個屬性的作用。

defaultSqlParser屬性

由于mycat最初是時候Foundation  DB的sql解析器，而后才添加的Druid的解析器。所以這個屬性用來指定默認的解析器。目前的可用的取值有：druidparser和  fdbparser。使用的時候可以選擇其中的一種，目前一般都使用druidparser。

processors屬性

這個屬性主要用于指定系統可用的線程數，默認值為Runtime.getRuntime().availableProcessors()方法返回的值。主要影響processorBufferPool、processorBufferLocalPercent、processorExecutor屬性。NIOProcessor的個數也是由這個屬性定義的，所以調優的時候可以適當的調高這個屬性。

processorBufferChunk屬性

這個屬性指定每次分配Socket Direct Buffer的大小，默認是4096個字節。這個屬性也影響buffer pool的長度。

processorBufferPool屬性

這個屬性指定bufferPool計算  比例值。由于每次執行NIO讀、寫操作都需要使用到buffer，系統初始化的時候會建立一定長度的buffer池來加快讀、寫的效率，減少建立buffer的時間。

兩個主要的buffer池

BufferPool和ThreadLocalPool

BufferPool由ThreadLocalPool組合而成，每次從BufferPool中獲取buffer都會優先獲取ThreadLocalPool中的buffer，未命中之后才會去獲取BufferPool中的buffer。也就是說ThreadLocalPool是作為BufferPool的二級緩存，每個線程內部自己使用的。當然，這其中還有一些限制條件需要線程的名字是由$_開頭。然而，BufferPool上的buffer則是每個NIOProcessor都共享的。默認這個屬性的值為：

默認bufferChunkSize(4096) * processors屬性 * 1000 BufferPool的總長度 =  bufferPool / bufferChunk。

若bufferPool不是bufferChunk的整數倍，則總長度為前面計算得出的商 + 1 假設系統線程數為4，其他都為屬性的默認值，則：

bufferPool ＝ 4096 * 4 * 1000  BufferPool的總長度 : 4000 = 16384000 / 4096

processorBufferLocalPercent屬性

前面提到了ThreadLocalPool。這個屬性就是用來控制分配這個pool的大小用的，但其也并不是一個準確的值，也是一個比例值。這個屬性默認值為100。

線程緩存百分比 = bufferLocalPercent / processors屬性。

例如，系統可以同時運行4個線程，使用默認值，則根據公式每個線程的百分比為25。最后根據這個百分比來計算出具體的。

ThreadLocalPool的長度公式如下：

ThreadLocalPool的長度 = 線程緩存百分比 * BufferPool長度 / 100

假設BufferPool的長度為 4000，其他保持默認值。那么最后每個線程建立上的ThreadLocalPool的長度為：1000 = 25 *  4000 / 100

processorExecutor屬性

這個屬性主要用于指定NIOProcessor上共享的businessExecutor固定線程池大小。mycat在需要處理一些異步邏輯的時候會把任務提交到這個線程池中。新版本中這個連接池的使用頻率不是很大了，可以設置一個較小的值。

sequnceHandlerType屬性

指定使用Mycat全局序列的類型。0為本地文件方式，1為數據庫方式。默認是使用本地文件方式，文件方式主要只是用于測試使用。

TCP連接相關屬性

StandardSocketOptions.SO_RCVBUF StandardSocketOptions.SO_SNDBUF StandardSocketOptions.TCP_NODELAY

以上這三個屬性，分別由：

• frontSocketSoRcvbuf 默認值：1024 * 1024

• frontSocketSoSndbuf 默認值：4 * 1024 * 1024

• frontSocketNoDelay 默認值：1

• backSocketSoRcvbuf 默認值：4 * 1024 * 1024

• backSocketSoSndbuf 默認值：1024 * 1024

• backSocketNoDelay 默認值：1

各自設置前后端TCP連接參數。Mycat在每次建立前、后端連接的時候都會使用這些參數初始化連接。可以按系統要求適當的調整這些buffer的大小。TCP連接參數的定義，可以查看Javadoc。MySQL連接相關屬性初始化mysql前后端連接所涉及到的一些屬性：

• packetHeaderSize : 指定Mysql協議中的報文頭長度。默認4。

• maxPacketSize : 指定Mysql協議可以攜帶的數據最大長度。默認16M。

• idleTimeout :  指定連接的空閑超時時間。某連接在發起空閑檢查下，發現距離上次使用超過了空閑時間，那么這個連接會被回收，就是被直接的關閉掉。默認30分鐘。

• charset : 連接的初始化字符集。默認為utf8。

• txIsolation :  前端連接的初始化事務隔離級別，只在初始化的時候使用，后續會根據客戶端傳遞過來的屬性對后端數據庫連接進行同步。默認為REPEATED_READ。

• sqlExecuteTimeout:SQL執行超時的時間，Mycat會檢查連接上最后一次執行SQL的時間，若超過這個時間則會直接關閉這連接。默認時間為300秒。

周期間隔相關屬性

mycat中有幾個周期性的任務來異步的處理一些我需要的工作。這些屬性就在系統調優的過程中也是比不可少的。

• processorCheckPeriod : 清理NIOProcessor上前后端空閑、超時和關閉連接的間隔時間。默認是1秒。

• dataNodeIdleCheckPeriod : 對后端連接進行空閑、超時檢查的時間間隔，默認是60秒。

• dataNodeHeartbeatPeriod : 對后端所有讀、寫庫發起心跳的間隔時間，默認是10秒。

服務相關屬性

這里介紹一個與服務相關的屬性，主要會影響外部系統對myact的感知。

• bindIp : mycat服務監聽的IP地址，默認值為0.0.0.0。

• serverPort : 定義mycat的使用端口，默認值為8066。

• managerPort : 定義mycat的管理端口，默認值為9066。

schema.xml

schema.xml作為MyCat中重要的配置文件之一，管理著MyCat的邏輯庫、表、分片規則、DataNode以及DataSource。弄懂這些配置，是正確使用MyCat的前提。這里就一層層對該文件進行解析。

<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://org.opencloudb/">    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">   <table name="user" dataNode="dn1,dn2" rule="auto-sharding-long" />   <table name="stat_tcp_stream" dataNode="dn2,dn3" rule="auto-sharding-long" />  </schema>  <dataNode name="dn1" dataHost="localhost1" database="mpos_tshark_miner_2014" />  <dataNode name="dn2" dataHost="localhost2" database="mpos_tshark_miner2014" />  <dataNode name="dn3" dataHost="localhost3" database="mpos_tshark_hrtel" />    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" dbType="mysql" dbDriver="jdbc" writeType="0" switchType="1"  slaveThreshold="100">   <heartbeat>select user()</heartbeat>   <writeHost host="hostM1" url="jdbc:mysql://192.168.1.150:5029" user="root" password="root"></writeHost>  </dataHost>  <dataHost name="localhost2" maxCon="1000" minCon="1" balance="0" dbType="mysql" dbDriver="jdbc">    <heartbeat>   </heartbeat>    <writeHost host="hostM2" url="jdbc:mysql://192.168.1.150:5029" user="root"  password="root"></writeHost>    </dataHost>    <dataHost name="localhost3" maxCon="1000" minCon="1" balance="0" dbType="mysql" dbDriver="jdbc">    <heartbeat>   </heartbeat>    <writeHost host="hostM3" url="jdbc:mysql://192.168.1.150:5029" user="root"  password="root"></writeHost>    </dataHost>    </mycat:schema>

schema標簽

dataNode

該屬性用于綁定邏輯庫到某個具體的database上，如果定義了這個屬性，那么這個邏輯庫就不能工作在分庫分表模式下了。也就是說對這個邏輯庫的所有操作會直接作用到綁定的dataNode上，這個schema就可以用作讀寫分離和主從切換，具體如下配置:

<schema name="USERDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"> <!&mdash;這里不能配置任何邏輯表信息--> </schema>

那么現在USERDB就綁定到dn1所配置的具體database上，可以直接訪問這個database。當然該屬性只能配置綁定到一個database上，不能綁定多個dn。

checkSQLschema

當該值設置為 true 時，如果我們執行語句 select * from TESTDB.travelrecord; 則MyCat會把語句修改為  select * from travelrecord; 。即把表示schema的字符去掉，避免發送到后端數據庫執行時報 (ERROR 1146 (42S02):  Table ‘testdb.travelrecord’ doesn’t exist)。 不過，即使設置該值為 true  ，如果語句所帶的是并非是schema指定的名字，例如：select * from db1.travelrecord;  那么MyCat并不會刪除db1這個字段，如果沒有定義該庫的話則會報錯，所以在提供SQL語句的最好是不帶這個字段。

sqlMaxLimit

當該值設置為某個數值時。每條執行的SQL語句，如果沒有加上limit語句，MyCat也會自動的加上所對應的值。例如設置值為100，執行 select *  from TESTDB.travelrecord; 的效果為和執行 select * from TESTDB.travelrecord limit 100;  相同。不設置該值的話，MyCat默認會把查詢到的信息全部都展示出來，造成過多的輸出。所以，在正常使用中，還是建議加上一個值，用于減少過多的數據返回。當然SQL語句中也顯式的指定limit的大小，不受該屬性的約束。

table標簽

<table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" ></table>

Table 標簽定義了MyCat中的邏輯表，所有需要拆分的表都需要在這個標簽中定義。

name屬性

定義邏輯表的表名，這個名字就如同我在數據庫中執行create table命令指定的名字一樣，同個schema標簽中定義的名字必須唯一。

dataNode屬性

定義這個邏輯表所屬的dataNode,  該屬性的值需要和dataNode標簽中name屬性的值相互對應。如果需要定義的dn過多可以使用如下的方法減少配置：

<table name="travelrecord" dataNode="multipleDn$0-99,multipleDn2$100-199" rule="auto-sharding-long" ></table> <dataNode name="multipleDn" dataHost="localhost1" database="db$0-99" ></dataNode> <dataNode name="multipleDn2" dataHost="localhost1" database=" db$0-99" ></dataNode>

這里需要注意的是database屬性所指定的真實database  name需要在后面添加一個，例如上面的例子中，我需要在真實的mysql上建立名稱為dbs0到dbs99的database。

rule屬性

該屬性用于指定邏輯表要使用的規則名字，規則名字在rule.xml中定義，必須與tableRule標簽中name屬性屬性值一一對應。

primaryKey屬性

該邏輯表對應真實表的主鍵，例如：分片的規則是使用非主鍵進行分片的，那么在使用主鍵查詢的時候，就會發送查詢語句到所有配置的DN上，如果使用該屬性配置真實表的主鍵。難么MyCat會緩存主鍵與具體DN的信息，那么再次使用非主鍵進行查詢的時候就不會進行廣播式的查詢，就會直接發送語句給具體的DN，但是盡管配置該屬性，如果緩存并沒有命中的話，還是會發送語句給具體的DN，來獲得數據。

type屬性

該屬性定義了邏輯表的類型，目前邏輯表只有“全局表”和”普通表”兩種類型。對應的配置：全局表：global。普通表：不指定該值為globla的所有表。

autoIncrement屬性

MySQL對非自增長主鍵，使用last_insert_id()是不會返回結果的，只會返回0。所以，只有定義了自增長主鍵的表才可以用last_insert_id()返回主鍵值。mycat目前提供了自增長主鍵功能，但是如果對應的mysql節點上數據表，沒有定義auto_increment，那么在mycat層調用last_insert_id()也是不會返回結果的。由于insert操作的時候沒有帶入分片鍵，mycat會先取下這個表對應的全局序列，然后賦值給分片鍵。這樣才能正常的插入到數據庫中，最后使用last_insert_id()才會返回插入的分片鍵值。如果要使用這個功能最好配合使用數據庫模式的全局序列。使用autoIncrement=“true”  指定這個表有使用自增長主鍵，這樣mycat才會不拋出分片鍵找不到的異常。使用autoIncrement=“false”  來禁用這個功能，當然你也可以直接刪除掉這個屬性。默認就是禁用的。

needAddLimit屬性

指定表是否需要自動的在每個語句后面加上limit限制。由于使用了分庫分表，數據量有時會特別巨大。這時候執行查詢語句，如果恰巧又忘記了加上數量限制的話。那么查詢所有的數據出來，也夠等上一小會兒的。所以，mycat就自動的為我們加上LIMIT  100。當然，如果語句中有limit，就不會在次添加了。這個屬性默認為true,你也可以設置成false`禁用掉默認行為。

childTable標簽

childTable標簽用于定義E-R分片的子表。通過標簽上的屬性與父表進行關聯

<table name="customer" primaryKey="ID" dataNode="dn1,dn2"  rule="sharding-by-intfile">  <childTable name="orders" primaryKey="ID" joinKey="customer_id"   parentKey="id">   <childTable name="order_items" joinKey="order_id"    parentKey="id" />  </childTable>  <childTable name="customer_addr" primaryKey="ID" joinKey="customer_id"   parentKey="id" /> </table>

name屬性

定義子表的表名。

joinKey屬性

插入子表的時候會使用這個列的值查找父表存儲的數據節點。

parentKey屬性

屬性指定的值一般為與父表建立關聯關系的列名。程序首先獲取joinkey的值，再通過 parentKey  屬性指定的列名產生查詢語句，通過執行該語句得到父表存儲在哪個分片上。從而確定子表存儲的位置。

primaryKey屬性

同table標簽所描述的。

needAddLimit屬性

同table標簽所描述的。

dataNode標簽

<dataNode name="dn1" dataHost="lch4307" database="db1" ></dataNode>

dataNode 標簽定義了MyCat中的數據節點，也就是我們通常說所的數據分片。一個dataNode  標簽就是一個獨立的數據分片。例子中所表述的意思為：使用名字為lch4307數據庫實例上的db1物理數據庫，這就組成一個數據分片，最后，我們使用名字dn1標識這個分片。

name屬性

定義數據節點的名字，這個名字需要是唯一的，我們需要在table標簽上應用這個名字，來建立表與分片對應的關系。

dataHost屬性

該屬性用于定義該分片屬于哪個數據庫實例的，屬性值是引用dataHost標簽上定義的name屬性。

database屬性

該屬性用于定義該分片屬性哪個具體數據庫實例上的具體庫，因為這里使用兩個緯度來定義分片，就是：實例+具體的庫。因為每個庫上建立的表和表結構是一樣的。所以這樣做就可以輕松的對表進行水平拆分。

dataHost標簽

作為Schema.xml中最后的一個標簽，該標簽在mycat邏輯庫中也是作為最底層的標簽存在，直接定義了具體的數據庫實例、讀寫分離配置和心跳語句。現在我們就解析下這個標簽。

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user()</heartbeat> <!-- can have multi write hosts --> <writeHost host="hostM1" url="localhost:3306" user="root" password="123456"> <!-- can have multi read hosts --> <!-- <readHost host="hostS1" url="localhost:3306" user="root" password="123456" /> --> </writeHost> <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> --> </dataHost>

name屬性

唯一標識dataHost標簽，供上層的標簽使用。

maxCon屬性

指定每個讀寫實例連接池的最大連接。也就是說，標簽內嵌套的writeHost、readHost標簽都會使用這個屬性的值來實例化出連接池的最大連接數。

minCon屬性

指定每個讀寫實例連接池的最小連接，初始化連接池的大小。

balance屬性

負載均衡類型，目前的取值有3種：

• balance=“0”, 所有讀操作都發送到當前可用的writeHost上。

• balance=“1”，所有讀操作都隨機的發送到readHost。

• balance=“2”，所有讀操作都隨機的在writeHost、readhost上分發。

writeType屬性

負載均衡類型，目前的取值有3種：

• writeType=“0”, 所有寫操作都發送到可用的writeHost上。

• writeType=“1”，所有寫操作都隨機的發送到readHost。

• writeType=“2”，所有寫操作都隨機的在writeHost、readhost分上發。

dbType屬性

指定后端連接的數據庫類型，目前支持二進制的mysql協議，還有其他使用JDBC連接的數據庫。例如：mongodb、oracle、spark等。

dbDriver屬性

指定連接后端數據庫使用的Driver，目前可選的值有native和JDBC。使用native的話，因為這個值執行的是二進制的mysql協議，所以可以使用mysql和maridb。其他類型的數據庫則需要使用JDBC驅動來支持。如果使用JDBC的話需要將符合JDBC  4標準的驅動JAR包放到MYCAT\lib目錄下，并檢查驅動JAR包中包括如下目錄結構的文件：META-INF\services\java.sql.Driver。在這個文件內寫上具體的Driver類名，例如：com.mysql.jdbc.Driver。

heartbeat標簽

這個標簽內指明用于和后端數據庫進行心跳檢查的語句。例如,MYSQL可以使用select user()，Oracle可以使用select 1 from  dual等。這個標簽還有一個connectionInitSql屬性，主要是當使用Oracla數據庫時，需要執行的初始化SQL語句就這個放到這里面來。例如：alter  session set nls_date_format='yyyy-mm-dd hh34:mi:ss'

writeHost標簽、readHost標簽

這兩個標簽都指定后端數據庫的相關配置給mycat，用于實例化后端連接池。唯一不同的是，writeHost指定寫實例、readHost指定讀實例，組著這些讀寫實例來滿足系統的要求。在一個dataHost內可以定義多個writeHost和readHost。但是，如果writeHost指定的后端數據庫宕機，那么這個writeHost綁定的所有readHost都將不可用。另一方面，由于這個writeHost宕機系統會自動的檢測到，并切換到備用的writeHost上去。這兩個標簽的屬性相同，這里就一起介紹。

host屬性

用于標識不同實例，一般writeHost我們使用M1，readHost我們用S1。

url屬性

后端實例連接地址，如果是使用native的dbDriver，則一般為address:port這種形式。用JDBC或其他的dbDriver，則需要特殊指定。當使用JDBC時則可以這么寫：jdbc:mysql://localhost:3306/。

user屬性

后端存儲實例需要的用戶名字

password屬性

后端存儲實例需要的密碼

rule.xml

rule.xml里面就定義了我們對表進行拆分所涉及到的規則定義。我們可以靈活的對表使用不同的分片算法，或者對表使用相同的算法但具體的參數不同。這個文件里面主要有tableRule和function這兩個標簽。在具體使用過程中可以按照需求添加tableRule和function。

tableRule標簽

這個標簽定義表規則。定義的表規則，在rule.xml：

<tableRule name="rule1">  <rule>   <columns>id</columns>   <algorithm>func1</algorithm>  </rule> </tableRule>

name 屬性指定唯一的名字，用于標識不同的表規則。內嵌的rule標簽則指定對物理表中的哪一列進行拆分和使用什么路由算法。columns  內指定要拆分的列名字。algorithm  使用function標簽中的name屬性。連接表規則和具體路由算法。當然，多個表規則可以連接到同一個路由算法上。標簽內使用。讓邏輯表使用這個規則進行分片。

function標簽

<function name="hash-int" class="org.opencloudb.route.function.PartitionByFileMap">  <property name="mapFile">partition-hash-int.txt</property> </function>

其中，各屬性如下所示。

• name 指定算法的名字。

• class 制定路由算法具體的類名字。

• property 為具體算法需要用到的一些屬性。

到此，關于“Mycat三大核心配置文件是什么”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！