MySQL 高并發配置優化
最近在搞一個報表系統，不是很負責，但是就是數據量比較大，單次寫入上萬條數據，加上在同一個事務里面，部署到linux
服務器后，發現特別慢，后面發現
mysql安裝后沒有優化配置文件，導致寫入特別慢。服務器mysql版本：
[root@localhost ~]# mysql -Vmysql
Ver 14.14 Distrib 5.6.25, for linux-glibc2.5 (x86_64) using EditLine wrappermysql
配置文件默認路徑：vim /etc/my.cnf
配置后重啟：service mysql restart
如果重啟報錯，那么就是配置文件里面加了錯誤配置
Shutting down MySQL.... SUCCESS! Starting MySQL.... ERROR! The server quit without updating PID file (/data/mysql/dbdata/report.pid).
目前簡單的配置信息，經測試批量處理事務所花的時間比之前的至少快20倍(這里看頁面提交到成功的時間得出)，下面是配置信息，具體每一項說明請百度一下：
lower_case_table_names=1wait_timeout=2880000
interactive_timeout = 2880000
max_allowed_packet = 200
Mmax_connections = 700
open-files-limit = 10240
################20180607 if error delete this############################
key_buffer_size=256
Mback_log = 512
table_open_cache=2048
innodb_file_per_table= 1
innodb_buffer_pool_size = 2048M
innodb_log_file_size = 1024M
innodb_log_buffer_size = 16M
innodb_flush_log_at_trx_commit = 2
innodb_flush_method = 'O_DIRECT'
innodb_max_dirty_pages_pct = 90
###############################################
使用ulimit -a 或者 ulimit -n 查看linux當前設置的打開最大文件數centos6.5 要想ulimits 的數值永久生效，必須修改配置文件/etc/security/limits.conf 在該配置文件中添加* soft nofile 65535 * hard nofile 65535 目前只配置這兩個，重啟發現就生效了。
https://www.cnblogs.com/pangguoping/p/5791432.html
查詢各個參數說明請參考：
https://www.2cto.com/database/201711/695306.html
下面是網上博客寫的mysql參數說明
https://www.cnblogs.com/musings/p/5913157.html
下面我們了解一下MySQL優化的一些基礎，MySQL的優化我分為兩個部分
一是服務器物理硬件的優化，二是MySQL自身(my.cnf)的優化。
一、服務器硬件對MySQL性能的影響
① 磁盤尋道能力（磁盤I/O）,以目前高轉速SCSI硬盤(7200轉/秒)為例，這種硬盤理論上每秒尋道7200次，這是物理特性決定的，沒有辦法改變。 MySQL每秒鐘都在進行大量、復雜的查詢操作，對磁盤的讀寫量可想而知。所以，通常認為磁盤I/O是制約MySQL性能的最大因素之一，對于日均訪問量 在100萬PV以上的Discuz!論壇，由于磁盤I/O的制約，MySQL的性能會非常低下！解決這一制約因素可以考慮以下幾種解決方案： 使用RAID-0+1磁盤陣列，注意不要嘗試使用RAID-5，MySQL在RAID-5磁盤陣列上的效率不會像你期待的那樣快。
②CPU 對于MySQL應用，推薦使用S.M.P.架構的多路對稱CPU，例如：可以使用兩顆Intel Xeon 3.6GHz的CPU，現在我較推薦用4U的服務器來專門做數據庫服務器，不僅僅是針對于mysql。
③物理內存對于一臺使用MySQL的Database Server來說，服務器內存建議不要小于2GB，推薦使用4GB以上的物理內存，不過內存對于現在的服務器而言可以說是一個可以忽略的問題，工作中遇到了高端服務器基本上內存都超過了16G。
二、 MySQL自身因素 當解決了上述服務器硬件制約因素后，讓我們看看MySQL自身的優化是如何操作的。對MySQL自身的優化主要是對其配置文件 my.cnf中的各項參數進行優化調整。下面我們介紹一些對性能影響較大的參數。 由于my.cnf文件的優化設置是與服務器硬件配置息息相關的，因而我們指定一個假想的服務器硬件環境：
下面，我們根據以上硬件配置結合一份已經優化好的my.cnf進行說明：
#vim /etc/my.cnf以下只列出my.cnf文件中[mysqld]段落中的內容，其他段落內容對MySQL運行性能影響甚微，因而姑且忽略。
[mysqld]
port = 3306serverid = 1
socket = /tmp/mysql.sockskip-locking#避免MySQL的外部鎖定，減少出錯幾率增強穩定性。
skip-name-resolve#禁止MySQL對外部連接進行
DNS解析，使用這一選項可以消除MySQL進行DNS解析的時間。但需要注意，如果開啟該選項，則所有遠程主機連接授權都要使用IP地址方式，否則MySQL將無法正常處理連接請求！
back_log = 384#back_log 參數的值指出在MySQL暫時停止響應新請求之前的短時間內多少個請求可以被存在堆棧中。 如果系統在一個短時間內有很多連接，則需要增大該參數的值，該參數值指定到來的TCP/IP連接的偵聽隊列的大小。不同的操作系統在這個隊列大小上有它自 己的限制。 試圖設定back_log高于你的操作系統的限制將是無效的。默認值為50。對于Linux系統推薦設置為小于512的整數。
key_buffer_size = 256M#key_buffer_size指定用于索引的緩沖區大小，增加它可得到更好的索引處理性能。對于內存在4GB左右的服務器該參數可設置為256M或384M。注意：該參數值設置的過大反而會是服務器整體效率降低！
max_allowed_packet = 4M
thread_stack = 256K
table_cache = 128K
sort_buffer_size = 6M#查詢排序時所能使用的緩沖區大小。注意：該參數對應的分配內存是每連接獨占，如果有100個連接，那么實際分配的總共排序緩沖區大小為100 × 6 ＝ 600MB。所以，對于內存在4GB左右的服務器推薦設置為6-8M。
read_buffer_size = 4M#讀查詢操作所能使用的緩沖區大小。和sort_buffer_size一樣，該參數對應的分配內存也是每連接獨享。
join_buffer_size = 8M#聯合查詢操作所能使用的緩沖區大小，和sort_buffer_size一樣，該參數對應的分配內存也是每連接獨享。
myisam_sort_buffer_size = 64M
table_cache = 512
thread_cache_size = 64
query_cache_size = 64M# 指定MySQL查詢緩沖區的大小。可以通過在MySQL控制臺觀察，如果Qcache_lowmem_prunes的值非常大，則表明經常出現緩沖不夠的 情況；如果Qcache_hits的值非常大，則表明查詢緩沖使用非常頻繁，如果該值較小反而會影響效率，那么可以考慮不用查詢緩 沖；Qcache_free_blocks，如果該值非常大，則表明緩沖區中碎片很多。
tmp_table_size = 256M
max_connections = 768#指定MySQL允許的最大連接進程數。如果在訪問論壇時經常出現Too Many Connections的錯誤提 示，則需要增大該參數值。
max_connect_errors = 10000000
wait_timeout = 10#指定一個請求的最大連接時間，對于4GB左右內存的服務器可以設置為5-10。
thread_concurrency = 8#該參數取值為服務器邏輯CPU數量*2，在本例中，服務器有2顆物理CPU，而每顆物理CPU又支持H.T超線程，所以實際取值為4*2=8skip-networking#開啟該選項可以徹底關閉MySQL的TCP/IP連接方式，如果WEB服務器是以遠程連接的方式訪問MySQL數據庫服務器則不要開啟該選項！否則將無法正常連接！
table_cache=1024#物理內存越大,設置就越大.默認為2402,調到512-1024最佳
innodb_additional_mem_pool_size=4M#默認為2M
innodb_flush_log_at_trx_commit=1#設置為0就是等到innodb_log_buffer_size列隊滿后再統一儲存,默認為1
innodb_log_buffer_size=2M#默認為1M
innodb_thread_concurrency=8#你的服務器CPU有幾個就設置為幾,建議用默認一般為8
key_buffer_size=256M#默認為218，調到128最佳
tmp_table_size=64M#默認為16M，調到64-256最佳
read_buffer_size=4M#默認為64K
read_rnd_buffer_size=16M#默認為256K
sort_buffer_size=32M#默認為256K
thread_cache_size=120#默認為60
query_cache_size=32M 如果從數據庫平臺應用出發，我還是會首選myisam. PS:可能有人會說你myisam無法抗太多寫操作，但是我可以通過架構來彌補，說個我現有用的數據庫平臺容量：主從數據總量在幾百T以上，每天十多億 pv的動態頁面，還有幾個大項目是通過數據接口方式調用未算進pv總數，(其中包括一個大項目因為初期memcached沒部署,導致單臺數據庫每天處理 9千萬的查詢)。而我的整體數據庫服務器平均負載都在0.5-1左右。
MyISAM和InnoDB優化：
key_buffer_size – 這對MyISAM表來說非常重要。如果只是使用MyISAM表，可以把它設置為可用內存的 30-40%。合理的值取決于索引大小、數據量以及負載 — 記住，MyISAM表會使用操作系統的緩存來緩存數據，因此需要留出部分內存給它們，很多情況下數據比索引大多了。盡管如此，需要總是檢查是否所有的 key_buffer 都被利用了 — .MYI 文件只有 1GB，而 key_buffer 卻設置為 4GB 的情況是非常少的。這么做太浪費了。如果你很少使用MyISAM表，那么也保留低于 16-32MB 的 key_buffer_size 以適應給予磁盤的臨時表索引所需。
innodb_buffer_pool_size – 這對Innodb表來說非常重要。Innodb相比MyISAM表對緩沖更為敏感。MyISAM可以在默認的 key_buffer_size 設置下運行的可以，然而Innodb在默認的 innodb_buffer_pool_size 設置下卻跟蝸牛似的。由于Innodb把數據和索引都緩存起來，無需留給操作系統太多的內存，因此如果只需要用Innodb的話則可以設置它高達 70-80% 的可用內存。一些應用于 key_buffer 的規則有 — 如果你的數據量不大，并且不會暴增，那么無需把 innodb_buffer_pool_size 設置的太大了。
innodb_additional_pool_size – 這個選項對性能影響并不太多，至少在有差不多足夠內存可分配的操作系統上是這樣。不過如果你仍然想設置為 20MB(或者更大)，因此就需要看一下Innodb其他需要分配的內存有多少。
innodb_log_file_size 在高寫入負載尤其是大數據集的情況下很重要。這個值越大則性能相對越高，但是要注意到可能會增加恢復時間。我經常設置為 64-512MB，跟據服務器大小而異。 innodb_log_buffer_size 默 認的設置在中等強度寫入負載以及較短事務的情況下，服務器性能還可 以。如果存在更新操作峰值或者負載較大，就應該考慮加大它的值了。如果它的值設置太高了，可能會浪費內存 — 它每秒都會刷新一次，因此無需設置超過1秒所需的內存空間。通常 8-16MB 就足夠了。越小的系統它的值越小。
innodb_flush_logs_at_trx_commit 是否為Innodb比MyISAM慢1000倍而頭大？看來也許你忘了修改這個參數了。默認值是 1，這意味著每次提交的更新事務（或者每個事務之外的語句）都會刷新到磁盤中，而這相當耗費資源，尤其是沒有電池備用緩存時。很多應用程序，尤其是從 MyISAM轉變過來的那些，把它的值設置為 2 就可以了，也就是不把日志刷新到磁盤上，而只刷新到操作系統的緩存上。日志仍然會每秒刷新到磁盤中去，因此通常不會丟失每秒1-2次更新的消耗。如果設置 為 0 就快很多了，不過也相對不安全了 — MySQL服務器崩潰時就會丟失一些事務。設置為 2 指揮丟失刷新到操作系統緩存的那部分事務。
table_cache — 打開一個表的開銷可能很大。例如MyISAM把MYI文件頭標志該表正在使用中。你肯定不希望這種操作太頻繁，所以通常要加大緩存數量，使得足以最大限度 地緩存打開的表。它需要用到操作系統的資源以及內存，對當前的硬件配置來說當然不是什么問題了。如果你有200多個表的話，那么設置為 1024 也許比較合適（每個線程都需要打開表），如果連接數比較大那么就加大它的值。我曾經見過設置為 100,000 的情況。
thread_cache — 線程的創建和銷毀的開銷可能很大，因為每個線程的連接/斷開都需要。我通常至少設置為 16。如果應用程序中有大量的跳躍并發連接并且 Threads_Created 的值也比較大，那么我就會加大它的值。它的目的是在通常的操作中無需創建新線程。
query_cache — 如果你的應用程序有大量讀，而且沒有應用程序級別的緩存，那么這很有用。不要把它設置太大了，因為想要維護它也需要不少開銷，這會導致MySQL變慢。通 常設置為 32-512Mb。設置完之后最好是跟蹤一段時間，查看是否運行良好。在一定的負載壓力下，如果緩存命中率太低了，就啟用它。 sort_buffer_size –如果你只有一些簡單的查詢，那么就無需增加它的值了，盡管你有 64GB 的內存。搞不好也許會降低性能。
轉自：https://blog.csdn.net/cuker919/article/details/80610314
