您好,登錄后才能下訂單哦!
這篇文章主要介紹“Java多線程和IO流怎么應用”的相關知識,小編通過實際案例向大家展示操作過程,操作方法簡單快捷,實用性強,希望這篇“Java多線程和IO流怎么應用”文章能幫助大家解決問題。
最近看到了一個例子,是使用多線程的方式下載文件,感覺很有趣,探索了一下,并且嘗試了使用多線程進行本地復制文件。寫完之后,發現了這兩個其實很相似,無論是本地文件復制,還是網絡多線程下載,對于流的使用都是一樣的。對于本地文件系統來說,輸入流就是從本地文件系統的一個文件來獲取,對于網絡資源來說,是從遠處服務器上的一個文件來獲取。
注: 雖然這個多線程下載的代碼,很多人都寫過了,不過應該不是所有人都能理解吧,我這里就再寫一遍,哈。
使用多線程的一個顯而易見的好處就是:利用空閑的 CPU,加快速度。 但是注意不是線程越多越好,雖然好像n個線程一起下載,每個線程下載一小部分,下載時間就會變為1/n 了。這是很淺顯的認識,就好像一個人蓋一個房子需要100天,難道10000個人,只需要1/10 天一樣了?(這是一個夸張的說法,哈哈!)
線程之間的切換也是需要系統開銷的,線程的數目還是要控制在一個合理的范圍內才行。
這個類比較獨特,它即可以從文件中讀取數據,也可以向文件中寫入數據。但是它不是 OutputStream 和 InputStream 的子類,它是實現了這兩個接口 DataOutput 、DataInput 的一個類。
API 中的介紹:
該類的實例支持讀取和寫入隨機訪問文件。 隨機訪問文件的行為類似于存儲在文件系統中的大量字節。 有一種游標,或索引到隱含的數組,稱為文件指針 ; 輸入操作讀取從文件指針開始的字節,并使文件指針超過讀取的字節。 如果在讀/寫模式下創建隨機訪問文件,則輸出操作也可用; 輸出操作從文件指針開始寫入字節,并將文件指針提前到寫入的字節。 寫入隱式數組的當前端的輸出操作會導致擴展數組。 文件指針可以通過讀取getFilePointer方法和由設置seek方法。
所以,這個類最重要的就是 seek 方法了,使用 seek 方法,可以控制寫入的位置,所以實現多線程就容易的多了。因此,無論是本地文件復制,還是網絡多線程下載都需要這個類的作用。
具體思路是: 首先使用 RandomAccessFile 創建一個 File 對象,然后設置這個文件的大小。(對的,它可以直接設置文件的大小。)將這個文件設置成和要復制或下載的文件一樣的。(雖然我們并沒有向這個文件中寫入數據,但是這個文件已經創建了。)將文件分為若干部分,使用線程復制或者下載每一部分的內容。
這有點類似文件的覆蓋,如果一個已經存在的文件,從這個文件的頭部開始寫入數據,一直寫到文件的尾部,那么原來的文件就不存在了,變成了寫入的新文件。
設置文件大小:
private static void createOutputFile(File file, long length) throws IOException { try ( RandomAccessFile raf = new RandomAccessFile(file, "rw")){ raf.setLength(length); } }
用圖片來說明: 這個圖表示一個 8191 字節大小的文件: 每一個部分大小是:8191 / 4 = 2047字節
將這個文件的分為四個部分,每一個部分使用一個線程進行復制或下載,其中每一個箭頭代表一個線程的開始下載位置。我特意將最后一個部分,沒有設置為 1024 byte,這是因為文件很少是正好能被 1024 byte 整除的。(之所以使用 1024 byte,是因為我每次會讀取 1024 byte,如果讀取到 1024 byte的話, 否則寫入讀取到的相應字節數)。
按照這個示意圖,每一個線程下載 2047 byte,那么總共下載的字節數是:2047 * 4 = 8188 字節 < 8191 字節(文件的總大小) 所以這就產生了一個問題,下載的字節數少于總字節數,這就是問題了,所以必須要下載的字節數大于總字節數才行。(多了沒有關系,因為多下載的部分,會被后面的給覆蓋掉,不會產生了問題。)
所以每個部分的大小應該是:8191 / 4 + 1 = 2048 字節。(這樣四部分的大小相加是超過總大小的,不會發生數據的丟失問題。)
所以,這里這個加 1 是很有必要的。
long size = len / FileCopyUtil.THREAD_NUM + 1;
每個線程下載完成的位置(右邊) 每個線程,只復制下載自己的那部分,所以不需要全部下載完所有的內容,所以讀取文件數據并寫入文件的部分,會多加一個判斷。
這里增加一個計數器:curlen。它表示是當前復制或者下載的長度,然后每次讀取后和 size(每部分的大小)進行比較,如果 curlen 大于 size 就表示相應的部分下載完成了(當然了,這些都要在數據沒有讀取完的條件下判斷)。
try ( BufferedInputStream bis = new BufferedInputStream(new FileInputStream(targetFile)); RandomAccessFile raf = new RandomAccessFile(outputFile, "rw")){ bis.skip(position); raf.seek(position); int hasRead = 0; byte[] b = new byte[1024]; long curlen = 0; while(curlen < size && (hasRead = bis.read(b)) != -1) { raf.write(b, 0, hasRead); curlen += (long)hasRead; } System.out.println(n+" "+position+" "+curlen+" "+size); } catch (IOException e) { e.printStackTrace(); }
還有需要注意的是,每個線程下載的時候都要: 1. 輸出流設置文件指針的位置。 2. 輸入流跳過不需要讀取的字節。
這是很重要的一步,應該是很好理解的。
bis.skip(position); raf.seek(position);
package dragon; import java.io.BufferedInputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.io.RandomAccessFile; /** * 用于進行文件復制,但不是常規的文件復制 。 * 準備仿照瘋狂Java,寫一個多線程的文件復制工具。 * 即可以本地復制和網絡復制 * */ /** * 設計思路: * 獲取目標文件的大小,然后設置復制文件的大小(這樣做是有好處的), * 然后使用將文件分為 n 分,使用 n 個線程同時進行復制(這里我將 n 取為 4)。 * * 可以進一步拓展: * 加強為斷點復制功能,即程序中斷以后, * 仍然可以繼續從上次位置恢復復制,減少不必要的重復開銷 * */ public class FileCopyUtil { //設置一個常量,復制線程的數量 private static final int THREAD_NUM = 4; private FileCopyUtil() {} /** * @param targetPath 目標文件的路徑 * @param outputPath 復制輸出文件的路徑 * @throws IOException * */ public static void transferFile(String targetPath, String outputPath) throws IOException { File targetFile = new File(targetPath); File outputFilePath = new File(outputPath); if (!targetFile.exists() || targetFile.isDirectory()) { //目標文件不存在,或者是一個文件夾,則拋出異常 throw new FileNotFoundException("目標文件不存在:"+targetPath); } if (!outputFilePath.exists()) { //如果輸出文件夾不存在,將會嘗試創建,創建失敗,則拋出異常。 if(!outputFilePath.mkdir()) { throw new FileNotFoundException("無法創建輸出文件:"+outputPath); } } long len = targetFile.length(); File outputFile = new File(outputFilePath, "copy"+targetFile.getName()); createOutputFile(outputFile, len); //創建輸出文件,設置好大小。 long[] position = new long[4]; //每一個線程需要復制文件的起點 long size = len / FileCopyUtil.THREAD_NUM + 1; for (int i = 0; i < FileCopyUtil.THREAD_NUM; i++) { position[i] = i*size; copyThread(i, position[i], size, targetFile, outputFile); } } //創建輸出文件,設置好大小。 private static void createOutputFile(File file, long length) throws IOException { try ( RandomAccessFile raf = new RandomAccessFile(file, "rw")){ raf.setLength(length); } } private static void copyThread(int i, long position, long size, File targetFile, File outputFile) { int n = i; //Lambda 表達式的限制,無法使用變量。 new Thread(()->{ try ( BufferedInputStream bis = new BufferedInputStream(new FileInputStream(targetFile)); RandomAccessFile raf = new RandomAccessFile(outputFile, "rw")){ bis.skip(position); //跳過不需要讀取的字節數,注意只能先后跳 raf.seek(position); //跳到需要寫入的位置,沒有這句話,會出錯,但是很難改。 int hasRead = 0; byte[] b = new byte[1024]; /** * 注意,每個線程只是讀取一部分數據,不能只以 -1 作為循環結束的條件 * 循環退出條件應該是兩個,即寫入的字節數大于需要讀取的字節數 或者 文件讀取結束(最后一個線程讀取到文件末尾) */ long curlen = 0; while(curlen < size && (hasRead = bis.read(b)) != -1) { raf.write(b, 0, hasRead); curlen += (long)hasRead; } System.out.println(n+" "+position+" "+curlen+" "+size); } catch (IOException e) { e.printStackTrace(); } }).start(); } }
package dragon; import java.io.BufferedInputStream; import java.io.File; import java.io.FileNotFoundException; import java.io.IOException; import java.io.RandomAccessFile; import java.net.URL; import java.net.URLConnection; /* * 多線程下載文件: * 通過一個 URL 獲取文件輸入流,使用多線程技術下載這個文件。 * */ public class FileDownloadUtil { //下載線程數 private static final int THREAD_NUM = 4; /** * @param url 資源位置 * @param output 輸出路徑 * @throws IOException * */ public static void transferFile(String url, String output) throws IOException { init(output); URL resource = new URL(url); URLConnection connection = resource.openConnection(); //獲取文件類型 String type = connection.getContentType(); if (type != null) { type = "."+type.split("/")[1]; } else { type = ""; } //創建文件,并設置長度。 long len = connection.getContentLength(); String filename = System.currentTimeMillis()+type; try (RandomAccessFile raf = new RandomAccessFile(new File(output, filename), "rw")){ raf.setLength(len); } //為每一個線程分配相應的下載其實位置 long size = len / THREAD_NUM + 1; long[] position = new long[THREAD_NUM]; File downloadFile = new File(output, filename); //開始下載文件: 4個線程 download(url, downloadFile, position, size); } private static void download(String url, File file, long[] position, long size) throws IOException { //開始下載文件: 4個線程 for (int i = 0 ; i < THREAD_NUM; i++) { position[i] = i * size; //每一個線程下載的起始位置 int n = i; // Lambda 表達式的限制,無法使用變量 new Thread(()->{ URL resource = null; URLConnection connection = null; try { resource = new URL(url); connection = resource.openConnection(); } catch (IOException e) { e.printStackTrace(); } try ( BufferedInputStream bis = new BufferedInputStream(connection.getInputStream()); RandomAccessFile raf = new RandomAccessFile(file, "rw")){ //每個流一旦關閉,就不能打開了 raf.seek(position[n]); //跳到需要下載的位置 bis.skip(position[n]); //跳過不需要下載的部分 int hasRead = 0; byte[] b = new byte[1024]; long curlen = 0; while(curlen < size && (hasRead = bis.read(b)) != -1) { raf.write(b, 0, hasRead); curlen += (long)hasRead; } System.out.println(n+" "+position[n]+" "+curlen+" "+size); } catch (FileNotFoundException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } }) .start(); } } private static void init(String output) throws FileNotFoundException { File path = new File(output); if (!path.exists()) { if (!path.mkdirs()) { throw new FileNotFoundException("無法創建輸出路徑:"+output); } } else if (path.isFile()) { throw new FileNotFoundException("輸出路徑不是一個目錄:"+output); } } }
因為這個多線程文件復制和多線程下載是很相似的,所以就放在一起測試了。我也想將兩個寫在一個類里面,這樣可以做成方法的重載調用。 文件復制的第一個參數可以是 String 或者 URI。 使用這個作為目標文件的參數。
public File(URI uri)
網絡文件下載的第一個參數,可以使用 String 或者是 URL。 不過,因為先寫的這個文件復制,后寫的多線程下載,就沒有做這部分。不過現在這樣功能也達到了,可以進行本地文件的復制(多線程)和網絡文件的下載(多線程)。
package dragon; import java.io.IOException; public class FileCopyTest { public static void main(String[] args) throws IOException { //復制文件 long start = System.currentTimeMillis(); try { FileCopyUtil.transferFile("D:\\DB\\download\\timg.jfif", "D:\\DBC"); } catch (IOException e) { e.printStackTrace(); } long time = System.currentTimeMillis()-start; System.out.println("time: "+time); //下載文件 start = System.currentTimeMillis(); FileDownloadUtil.transferFile("https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1578151056184&di=594a34f05f3587c31d9377a643ddd72e&imgtype=0&src=http%3A%2F%2Fn.sinaimg.cn%2Fsinacn%2Fw1600h2000%2F20180113%2F0bdc-fyqrewh6850115.jpg", "D:\\DB\\download"); System.out.println("time: "+(System.currentTimeMillis()-start)); } }
運行截圖: 注意:這里這個時間并不是復制和下載需要的時間,實際上它沒有這個功能!
注意:雖然兩部分代碼是相同的,但是第三列數字,卻不是完全相同的,這個似乎是因為本地和網絡得區別吧。但是最后得文件是完全相同的,沒有問題得。(我本地文件復制得是網絡下載得那張圖片,使用圖片進行測試有一個好處,就是如果錯了一點(字節數目不對),這個圖片基本上就會產生問題。)
產生錯誤之后的圖片: 圖片無法正常顯示,會出現很多的問題,這就說明一定是代碼寫錯了。
關于“Java多線程和IO流怎么應用”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識,可以關注億速云行業資訊頻道,小編每天都會為大家更新不同的知識點。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。