優化方案思路:通過tar把大文件切分成多個100m大小的文件,然后通過多進程上傳。
#!/bin/bash
#######################################
#Author:Jianjun Zhang
#Create Data:2017-03-22
#Propose:For big file upload
#Modify Data:
#######################################
#使用tar切分大文件成多個100m的小文件
tar -czf - ftp_test.dmp | split -b 100m -d - ftp_test.tar.gz
#計算切分成了多少個小文件
fc=`ls -l |grep "ftp_test.tar.gz*" |wc -l`
echo $fc
#使用for循環
for ((a=0; a<$fc; a++))
do
if [ "$a" -lt 10 ]; then
i=0"$a"
else
i="$a"
fi
#查看ftp進程數量,當小于5個FTP進程的時候繼續在啟用一個FTP進程
fpc=`ps -ef|grep "ftp -v -n 192.168.1.100" |wc -l`
while [ "$fpc" -gt 5 ]
do
sleep 5
fpc=`ps -ef|grep "ftp -v -n 192.168.1.100" |wc -l`
echo $fpc
done
echo $i
#FTP部分
echo user ftp_test ftp_test > ftp"$i".txt
echo binary >> ftp"$i".txt
echo hash >> ftp"$i".txt
echo prompt >> ftp"$i".txt
echo cd result_bj >>ftp"$i".txt
echo passive >>ftp"$i".txt
echo put ftp_test.tar.gz"$i" >> ftp"$i".txt
echo bye >> ftp"$i".txt
echo start upload the expdp file.
sleep 2
#后臺執行FTP
ftp -v -n 192.168.1.100 < ftp"$i".txt &
rm -rf ftp"$i".txt
done
結論:上傳時間約為單個文件上傳的1/5,且不會出現FTP上傳進程僵死的情況,缺點是這樣上傳很占用帶寬。