溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本文實例講述了Python實現的多進程拷貝文件并顯示百分比功能。分享給大家供大家參考，具體如下：
centos7下查看cup核數：
# 總核數 = 物理CPU個數 X 每顆物理CPU的核數 # 總邏輯CPU數 = 物理CPU個數 X 每顆物理CPU的核數 X 超線程數 # 查看物理CPU個數 cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l # 查看每個物理CPU中core的個數(即核數) cat /proc/cpuinfo| grep "cpu cores"| uniq # 查看邏輯CPU的個數 cat /proc/cpuinfo| grep "processor"| wc -l
本示例拷貝文件采用的是最簡單的但是有最復雜的方式：
1，根據要拷貝的文件夾名稱，創建一個新的文件夾用來存儲文件
2，讀取源文件夾下的文件內容，將其寫入目的文件夾下同名的文件中
直接上代碼：
# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
def copyFileTask(name, oldFolderName, newFolderName, queue):
"""copy文件"""
fr = open(oldFolderName+"/"+name)
fw = open(newFolderName+"/"+name, "w")
content = fr.read()
fw.write(content)
fr.close()
fw.close()
# 將copy完成的文件名稱put進隊列
queue.put(name)
def main():
try:
# 0. 獲取要copy的文件夾
# oldFolderName = input("請輸入文件夾的名字：") # python3
oldFolderName = raw_input("請輸入文件夾的名字：") # python2
# 1. 創建一個新的文件夾
print 'mkdir new file ------'
newFolderName = str(oldFolderName) + "-copy"
# print(newFolderName)
os.mkdir(newFolderName)
# 2. 獲取old文件夾中的所有的文件名字
fileNames = os.listdir(oldFolderName)
# print(fileNames)
# 3. 使用多進程的方式copy 原文件夾中的所有文件到新的文件夾中
pool = Pool(5)
# 創建一個隊列
queue = Manager().Queue()
for name in fileNames:
pool.apply_async(copyFileTask, args=(name, oldFolderName, newFolderName, queue))
pool.close() # 關閉進程池，不再接受請求
pool.join() # 等待所有的子進程結束
num = 0
# 需要copy的文件總數
allNum = len(fileNames)
while num < allNum:
# 收數據
queue.get()
num += 1
copyRate = float(num) / allNum
# 打印copy的進度
time.sleep(0.1) # 容易看出來打印百分比的變化，延長百分比更新的時間
print "\rcopy的進度是:%.2f%%" % (copyRate*100),
print "\ncopy success ------"
except:
traceback.print_exc()
if __name__ == "__main__":
main()
下面采用python模塊shutil模塊進行copy操作：
# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
"""copy文件"""
src_path = os.path.join(old_path, name)
dst_path = os.path.join(new_path, name)
shutil.copy(src_path, dst_path) # 拷貝文件
# shitil.move(src_path, dst_path) # 移動文件
# 將copy完成的文件名稱put進隊列
queue.put(name)
def main():
try:
# 0. 獲取要copy的文件夾
oldFolderName = raw_input("請輸入文件夾的名字：")
print '要拷貝的源文件夾： ', oldFolderName
# 1. 創建一個新的文件夾
newFolderName = raw_input("請輸入文件夾的名字：")
print '目標文件夾：', newFolderName
# 獲取當前所在的路徑
now_path = os.getcwd()
print "當前所在路徑： ", now_path
old_path = os.path.join(now_path, oldFolderName)
print '源文件夾路徑： ', old_path
new_path = os.path.join(now_path, newFolderName)
print '目標文件夾路徑： ', new_path
if not os.path.exists(new_path):
os.mkdir(new_path)
# 3. 使用多進程的方式copy 原文件夾中的所有文件到新的文件夾中
pool = Pool(5) # 創建5條進程
queue = Manager().Queue() # 創建一個隊列
# 遍歷源文件夾
for root, dirs, files in os.walk(oldFolderName):
"""
root 所指的是當前正在遍歷的這個文件夾的本身的地址
dirs 是一個 list ，內容是該文件夾中所有的目錄的名字(不包括子目錄)
files 同樣是 list , 內容是該文件夾中所有的文件(不包括子目錄)
"""
print '源文件夾下的文件數量:：', len(files)
s_t = time.time()
for file in files:
pool.apply_async(copyFileTask, args=(file, old_path, new_path, queue)) # 向進程池中添加任務
pool.close() # 關閉進程池，不再接受請求
pool.join() # 等待所有的子進程結束
print '耗時：{} 秒'.format(time.time() - s_t)
num = 0
# 需要copy的文件總數
allNum = len(files)
print 'len(fileNames) = ', allNum
while True:
# 收數據
# print '收數據 ------'
queue.get()
# print 'queue.get() ------', queue.get()
num += 1
copyRate = float(num) / allNum
# 打印copy的進度
print "\rcopy的進度是:%.2f%%" % (copyRate*100),
if num == allNum:
break
print "\ncopy success ------"
except:
traceback.print_exc()
if __name__ == "__main__":
main()
輸出：（由于我的cup核數為1核，在使用多進程的過程中，操作系統在輪詢的時候，頻繁的切換任務，浪費時間導致多進程比單進程耗時更長。）
[root@centos7 mnt]# python copy_file_test.py
請輸入文件夾的名字：hdfs
要拷貝的源文件夾： hdfs
請輸入文件夾的名字：test01
目標文件夾： test01
當前所在路徑： /mnt
源文件夾路徑： /mnt/hdfs
目標文件夾路徑： /mnt/test01
源文件夾下的文件數量:： 8165
耗時：253.655323982 秒
len(fileNames) = 8165
copy的進度是:100.00%
copy success ------
單進程拷貝文件：
# coding=utf-8
from Queue import Queue
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
"""copy文件"""
src_path = os.path.join(old_path, name)
dst_path = os.path.join(new_path, name)
shutil.copy(src_path, dst_path) # 拷貝文件
# shitil.move(src_path, dst_path) # 移動文件
# 將copy完成的文件名稱put進隊列
queue.put(name)
def main():
try:
# 0. 獲取要copy的文件夾
oldFolderName = raw_input("請輸入文件夾的名字：")
print '要拷貝的源文件夾： ', oldFolderName
# 1. 創建一個新的文件夾
newFolderName = raw_input("請輸入文件夾的名字：")
print '目標文件夾：', newFolderName
# 獲取當前所在的路徑
now_path = os.getcwd()
print "當前所在路徑： ", now_path
old_path = os.path.join(now_path, oldFolderName)
print '源文件夾路徑： ', old_path
new_path = os.path.join(now_path, newFolderName)
print '目標文件夾路徑： ', new_path
if not os.path.exists(new_path):
os.mkdir(new_path)
queue = Queue() # 創建一個隊列
# 遍歷源文件夾
for root, dirs, files in os.walk(oldFolderName):
"""
root 所指的是當前正在遍歷的這個文件夾的本身的地址
dirs 是一個 list ，內容是該文件夾中所有的目錄的名字(不包括子目錄)
files 同樣是 list , 內容是該文件夾中所有的文件(不包括子目錄)
"""
print '源文件夾下的文件數量:：', len(files)
s_t = time.time()
# 調用函數拷貝文件
for file in files:
copyFileTask(file, old_path, new_path, queue)
print '耗時：{} 秒'.format(time.time() - s_t)
num = 0
# 需要copy的文件總數
allNum = len(files)
print 'len(fileNames) = ', allNum
while True:
# 收數據
# print '收數據 ------'
queue.get()
# print 'queue.get() ------', queue.get()
num += 1
copyRate = float(num) / allNum
# 打印copy的進度
print "\rcopy的進度是:%.2f%%" % (copyRate*100),
if num == allNum:
break
print "\ncopy success ------"
except:
traceback.print_exc()
if __name__ == "__main__":
main()
輸出：
[root@centos7 mnt]# python copy_file_test_dan.py
請輸入文件夾的名字：hdfs
要拷貝的源文件夾： hdfs
請輸入文件夾的名字：test02
目標文件夾： test02
當前所在路徑： /mnt
源文件夾路徑： /mnt/hdfs
目標文件夾路徑： /mnt/test02
源文件夾下的文件數量:： 8165
耗時：122.284090996 秒
len(fileNames) = 8165
copy的進度是:100.00%
copy success ------
我的虛擬機cpu核數：1
如下：
[root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l 1 [root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniq cpu cores : 1 [root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l 1
更多關于Python相關內容感興趣的讀者可查看本站專題：《Python文件與目錄操作技巧匯總》、《Python文本文件操作技巧匯總》、《Python數據結構與算法教程》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》及《Python入門與進階經典教程》
希望本文所述對大家Python程序設計有所幫助。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
