mmap中怎么實現大文件復制功能

本篇文章給大家分享的是有關mmap中怎么實現大文件復制功能，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

1、讀取（fread）被復制的文件的內容。2、寫入（fwrite）到新的文件中去。

使用mmap進行文件復制的流程則是：

1、為被復制的文件已經新文件分別進行mmap映射。2、將被復制的文件映射的內存的內容復制到新文件映射的內存。

在知道了基本原理之后，讓我們看看具體的做法，本文只分析使用mmap進行大文件復制的方法

具體的做法

先了解一些使用mmap時，應當注意的細節：

文件的大小必須要大于等于內存映射區的大小，因此對于創建的新文件，可以使用文件截斷函數（ftruncate）來改變文件的大小和被復制的文件大小一樣，這樣子才能在映射一個和被復制的文件的映射區一樣大的內存映射區。    下面我將使用單進程和多進程兩種方式來進行mmap文件復制

單進程mmap文件復制

#include<stdio.h>#include <string.h>#include <malloc.h>#include <unistd.h>#include <sys/stat.h>#include <fcntl.h>#include <unistd.h>#include <stdlib.h>#include <sys/mman.h>/* 首先規定一下該命令的參數 ： * mycopy 源文件地址 目標文件地址 * * 可能需要的函數：open\read\write\close * 基本流程：打開源文件，讀取內容，寫到另一個文件，關閉文件 * 核心方法：通過mmap(最快的進程間通信方法)  * 如何獲取文件的大小： * */unsigned long get_file_byte_num(const char * filename){ FILE *fp = fopen(filename, "r"); fseek(fp, 0, SEEK_END); return ftell(fp);}int main(int argc, char ** argv){ // 首先解析輸入的參數得到源文件和目標文件 if (argc < 3) {  perror("參數輸入不足"); } int slen = strlen(argv[1]); // 這個是源文件的名的長度 int tlen = strlen(argv[2]); // 這個是目標文件名的長度 char *sname = (char *)malloc(sizeof(char)*(slen + 1)); char *tname = (char*)malloc(sizeof(char)*(tlen + 1)); strcpy(sname, argv[1]); strcpy(tname, argv[2]); // 打開目標文件 // 計算源文件的大小（字節數） unsigned long byte_num = get_file_byte_num(sname); printf("文件的長度為%ld字節\n", byte_num); //--------建立 mmap 映射區 -------------- // 獲取被復制文件的文件描述符 int fd = open(sname, O_RDWR|O_CREAT, 0644); int tfd = open(tname, O_RDWR|O_CREAT, 0644); ftruncate(tfd, byte_num); char *mem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, fd, 0); if (mem == MAP_FAILED)  perror("mmap err"); char *tmem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, tfd, 0); if (tmem == MAP_FAILED)  perror("mmap err"); close(fd); // 內存映射區建立之后，就可以關閉文件描述符 close(tfd); memcpy(tmem, mem, byte_num); // 回收子進程，等待拷貝結束 munmap(mem, byte_num); munmap(tmem, byte_num); free(sname); free(tname);

多進程mmap復制文件

所謂的多進程mmap復制文件，只是做了將復制的任務分給多個進程去完成，核心思想不變。

#include<stdio.h>#include <string.h>#include <malloc.h>#include <unistd.h>#include <sys/stat.h>#include <fcntl.h>#include <unistd.h>#include <stdlib.h>#include <sys/mman.h>#include <signal.h>#include <sys/wait.h>/* 首先規定一下該命令的參數 ：* mycopy 源文件地址 目標文件地址** 可能需要的函數：open\read\write\close* 基本流程：打開源文件，讀取內容，寫到另一個文件，關閉文件* 核心方法：通過mmap(最快的進程間通信方法) * 如何獲取文件的大小：**/// 獲取文件的字節數unsigned long get_file_byte_num(const char * filename){ FILE *fp = fopen(filename, "r"); fseek(fp, 0, SEEK_END); return ftell(fp);}// sigchld信號處理函數void sigchld_handle(int a){ pid_t pid; while ((pid = waitpid(0,NULL, WNOHANG)) > 0) {  printf("回收到一個子進程%d\n", pid); }}int main(int argc, char ** argv){ // 首先解析輸入的參數得到源文件和目標文件 if (argc < 3) {  perror("參數輸入不足"); } int slen = strlen(argv[1]); // 這個是源文件的名的長度 int tlen = strlen(argv[2]); // 這個是目標文件名的長度 char *sname = (char *)malloc(sizeof(char)*(slen + 1)); char *tname = (char*)malloc(sizeof(char)*(tlen + 1)); strcpy(sname, argv[1]); strcpy(tname, argv[2]); // 打開目標文件 FILE * tfp = fopen(tname, "w"); // 不存在則創建 // 計算源文件的大小（字節數） unsigned long byte_num = get_file_byte_num(sname); printf("文件的長度為%ld字節\n", byte_num); //--------建立 mmap 映射區 -------------- // 獲取被復制文件的文件描述符 int fd = open(sname, O_RDWR|O_CREAT, 0644); int tfd = open(tname, O_RDWR|O_CREAT, 0644); ftruncate(tfd, byte_num); // 將tfd指向的文件的大小改變為byte_num char *mem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, fd, 0); char * mem_tmp = mem; // 備份共享內存入口地址 if (mem == MAP_FAILED) perror("MAP_FAILED"); char *tmem = (char*)mmap(NULL, byte_num, PROT_WRITE, MAP_SHARED,tfd, 0); char * tmem_tmp = tmem; if (tmem == MAP_FAILED) perror("mmap err"); close(fd); // 內存映射區建立之后，就可以關閉文件描述符 close(tfd); // 父子進程之間就可以通過這個mem指針進行通信了 // 規定進程數量為5mZ const int num_proc = 5; // 根據進程數量，計算每個進程需要拷貝的字節數， // 最后一個進程拷貝剩余的字節數。 const int num_proc = 5; const unsigned long each_proc_byte = byte_num/num_proc; // 由于可能無法整除，因此最后一個進程，需要多復制一些 const unsigned long last_proc_byte = byte_num - each_proc_byte*(num_proc - 1);  // 屏蔽sigchld信號的系統默認處理方式 sigset_t set; sigemptyset(&set); // 初始化一下set sigaddset(&set, SIGCHLD); sigprocmask(SIG_BLOCK, &set, NULL); // 屏蔽 // 循環創建子進程int i; pid_t pid;for(i = 0; i < num_proc - 1; ++i){ if ((pid = fork())==-1) perror("fork error"); if (pid == 0) break;} // -------具體的拷貝過程--------- if (i == num_proc - 1) // 父進程 {  // 設置信號捕捉和解除屏蔽  struct sigaction act;  act.sa_handler = sigchld_handle;  sigemptyset(&act.sa_mask); // 處理期間不屏蔽其他信號  sigaction(SIGCHLD, &act, NULL); // 啟動信號捕獲  sigprocmask(SIG_UNBLOCK, &set, NULL); // 解除SIGCHLD的屏蔽  memcpy(tmem_tmp + each_proc_byte*i, mem_tmp + each_proc_byte*i, last_proc_byte);  }else {  memcpy(tmem + each_proc_byte*i, mem_tmp + each_proc_byte*i, each_proc_byte); } // // 回收子進程，等待拷貝結束 //  munmap(mem, byte_num);  munmap(tmem, byte_num);  free(sname);  free(tname);  return 0;}

幾個問題

1、主進程什么時候進行munmap才不會影響其他進程使用mmap進行復制。

父子進程之間的用戶空間遵循“讀時共享、寫時復制”的原則，mmap肯定是采用的用戶空間的內存，因此我認為最好的處理方法，就是每個進程都進行munmap。

2、sleep()函數的注意點：

sleep在manpage上的原文解釋為：sleep() makes the calling process sleep until seconds seconds have elapsed or a signal arrives which is not ignored.

也就是說，結束sleep的情況又兩種：1.休眠時間到。2.調用sleep的進程收到一個信號，且該信號未被屏蔽，在該信號處理完成后，理解結束sleep。

3、子進程可能會比主進程結束的慢，而且不能讓主進程阻塞等待子進程（通過信號捕捉來回收子進程），這種情況下，該如何回收子進程？

首先，主進程準備好信號捕獲回收子進程的代碼。其次，能不能回收就隨緣，如果主進程先退出了就把子進程交給init進程回收。所以，不需要擔心能不能回收的問題。

以上就是mmap中怎么實現大文件復制功能，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。