溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章給大家分享的是有關java如何使用IO流的方式實現hdfs數據的上傳和下載的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。
IO操作-文件上傳
1、把本地d盤下的hello.txt文件上傳到HDFS根目錄
2、代碼編寫
@Test public void putFileToHDFS() throws IOException, InterruptedException, URISyntaxException { // 1 獲取文件系統 Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://hadoop100:9000"), configuration, "root"); // 2 創建輸入流 FileInputStream fis = new FileInputStream(new File("d:/hello.txt")); // 3 獲取輸出流 FSDataOutputStream fos = fs.create(new Path("/hello.txt")); // 4 流對拷 IOUtils.copyBytes(fis, fos, configuration); // 5 關閉資源 IOUtils.closeStream(fos); IOUtils.closeStream(fis); fs.close(); }
3、瀏覽器輸入http://hadoop100:50070/explorer.html#/查看是否上傳
IO操作-文件下載
1、從HDFS下載hello.txt文件到d盤根目錄下
2、代碼編寫
@Test public void getFileFromHDFS() throws IOException, InterruptedException, URISyntaxException { // 1 獲取文件系統 Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://hadoop100:9000"), configuration, "root"); // 2 獲取輸入流 FSDataInputStream fis = fs.open(new Path("/hello.txt")); // 3 獲取輸出流 FileOutputStream fos = new FileOutputStream(new File("d:/hello.txt")); // 4 流的對拷 IOUtils.copyBytes(fis, fos, configuration); // 5 關閉資源 IOUtils.closeStream(fos); IOUtils.closeStream(fis); fs.close(); }
3、查看目錄下是否有文件
IO操作-分塊讀取
1、分塊讀取HDFS上的大文件，比如根目錄下的/hadoop-2.7.2.tar.gz
2、下載第一塊，代碼如下
@Testpublic void readFileSeek1() throws IOException, InterruptedException, URISyntaxException{// 1 獲取文件系統Configuration configuration = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://hadoop100:9000"), configuration, "root");// 2 獲取輸入流FSDataInputStream fis = fs.open(new Path("/hadoop-2.7.2.tar.gz"));// 3 創建輸出流FileOutputStream fos = new FileOutputStream(new File("d:/hadoop-2.7.2.tar.gz.part1"));// 4 流的拷貝byte[] buf = new byte[1024];for(int i =0 ; i < 1024 * 128; i++){fis.read(buf);fos.write(buf);}// 5關閉資源IOUtils.closeStream(fis);IOUtils.closeStream(fos);fs.close();}
3、下載第二塊，代碼如下
@Testpublic void readFileSeek2() throws IOException, InterruptedException, URISyntaxException{// 1 獲取文件系統Configuration configuration = new Configuration();FileSystem fs = FileSystem.get(new URI("hdfs://hadoop100:9000"), configuration, "root");// 2 打開輸入流FSDataInputStream fis = fs.open(new Path("/hadoop-2.7.2.tar.gz"));// 3 定位輸入數據位置fis.seek(1024*1024*128);// 4 創建輸出流FileOutputStream fos = new FileOutputStream(new File("d:/hadoop-2.7.2.tar.gz.part2"));// 5 流的對拷IOUtils.copyBytes(fis, fos, configuration);// 6 關閉資源IOUtils.closeStream(fis);IOUtils.closeStream(fos);}
4、合并文件，把兩塊文件合并為一個
在Window命令窗口中進入到目錄E:\，然后執行如下命令，對數據進行合并
type hadoop-2.7.2.tar.gz.part2 >> hadoop-2.7.2.tar.gz.part1，合并完成后，將hadoop-2.7.2.tar.gz.part1重新命名為hadoop-2.7.2.tar.gz。解壓發現該tar包非常完整。
感謝各位的閱讀！關于“java如何使用IO流的方式實現hdfs數據的上傳和下載”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
