您好,登錄后才能下訂單哦!
本篇內容介紹了“怎么用C++實現數據庫刪除大表”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
背景:數據庫的IO壓力非常大,如果在線上刪除大表,對IO以及業務會造成很大的抖動;作為一名DBA的通用做法是,建立.frm 以及.ibd的硬連接,然后在drop table tablename;但是表文件依然存在于該機器上,如果直接用rm刪除,會造成IO的until達到100%
問題:那么如何解決刪除文件時,如果避免IO達到100%呢?
解決方案:通過ftruncate逐漸清除文件,下面本人提供自己寫的slowrm來刪除文件,測試io使用率10-20%之間,刪除速度1個小時100多G(這里只是一個粗略的版本,各位看官可以自己修改下)
#include <iostream>
#include <sys/stat.h>
#include <fcntl.h>
#include <dirent.h>
#include <string>
#include <unistd.h>
//判讀輸入是否合法
int fileInputLegal(const char *pfile=nullptr);
int main(int argc,char *argv[]){
//利用stat獲取文件的大小
//調用open打開文件獲取文件描述符
//調用ftrucate縮減文件的大小,直到0為止
int fd = -1;
//這個參數經過調整過的
int deleteBytes = 1024700;
//這個目的是獲取文件長度
struct stat buf;
off_t fileSize = 0;
if( argc !=2 ){
std::cout<<"你傳輸的參數不正確"<<std::endl;
return -1;
}
const char *filename=argv[1];
if(fileInputLegal(filename) < 0){
return -1;
}
if((fd = open(filename,O_RDWR)) < 0 ){
std::cout<<"打開文件"<<filename<<"失敗"<<std::endl;
return -1;
}
if(lstat(filename,&buf) <0){
std::cout<<"獲取文件信息(大小失敗)"<<std::endl;
return -1;
}
fileSize = buf.st_size;
while(fileSize > deleteBytes ){
fileSize = fileSize - deleteBytes;
if(ftruncate(fd,fileSize) < 0){
std::cout<<"刪除文件出錯,請重新執行"<<std::endl;
return -2;
}
//這里特別要注意,設置的時間越短,ftruncate調用越頻繁,設置不當,適得其反
usleep(20000);
}
if(ftruncate(fd,0) < 0){
std::cout<<"刪除文件出錯,請重新執行"<<std::endl;
return -2;
}
close(fd);
unlink(filename);
return 0;
}
int fileInputLegal(const char *pfile){
if(nullptr==pfile){
return -1;
}
if(access(pfile,R_OK|W_OK)<0){
std::cout<<"對文件沒有讀寫權限"<<std::endl;
return -1;
}
if(opendir(pfile) != NULL){
std::cout<<"是一個目錄"<<std::endl;
return -1;
}
return 0;
}
編譯方法:
g++ -std=gnu++11 -o slowrm slow_rm.cpp
使用方法:
“怎么用C++實現數據庫刪除大表”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。