怎么從Hadoop URL中讀取數據

本篇內容介紹了“怎么從Hadoop URL中讀取數據”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

要從Hadoop文件系統中讀取文件，一個最簡單的方法是使用java.net.URL對象來打開一個數據流，從而從中讀取數據。一般的格式如下：
1.    InputStream in = null;  
2. try {  
3.     in = new URL("hdfs://host/path").openStream();  
4.     // process in  
5. } finally {  
6.     IOUtils.closeStream(in);  
7. } 
這里還需要一點工作來讓Java識別Hadoop文件系統的URL 方案，就是通過一個FsUrlStreamHandlerFactory實例來調用在URL中的setURLStreamHandler-Factory方法。這種方法在一個Java虛擬機中只能被調用一次，因此一般都在一個靜態塊中執行。這個限制意味著如果程序的其他部件(可能是不在你控制中的第三方部件)設置一個URLStreamHandlerFactory，我們便無法再從Hadoop中讀取數據。下一節將討論另一種方法。
例3-1展示了以標準輸出顯示Hadoop文件系統的文件的程序，它類似于Unix的cat命令。
例3-1：用URLStreamHandler以標準輸出格式顯示Hadoop文件系統的文件
1. public class URLCat {  
2.  
3.  static {  
4.    URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());  
5.  }  
6.    
7.  public static void main(String[] args) throws Exception {  
8.    InputStream in = null;  
9.    try {  
10.      in = new URL(args[0]).openStream();  
11.      IOUtils.copyBytes(in, System.out, 4096, false);  
12.    } finally {  
13.      IOUtils.closeStream(in);  
14.    }  
15.  }  
16. } 
我們使用Hadoop中簡潔的IOUtils類在finally子句中關閉數據流，同時復制輸入流和輸出流之間的字節(本例中是System.out)。copyBytes方法的最后兩個參數，前者是要復制的緩沖的大小，后者表示復制結束后是否關閉數據流。這里是將輸入流關掉了，而System.out不需要關閉。

“怎么從Hadoop URL中讀取數據”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！