在Flink中讀取HDFS文件通常使用TextInputFormat
類。下面是一個簡單的示例代碼,演示如何使用Flink讀取HDFS文件:
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.core.fs.Path;
public class ReadFromHDFS {
public static void main(String[] args) throws Exception {
final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
String hdfsPath = "hdfs://localhost:9000/path/to/your/file.txt";
env.readTextFile(hdfsPath).print();
}
}
在上面的代碼中,我們首先創建了一個ExecutionEnvironment
對象,然后指定了要讀取的HDFS文件的路徑,并使用readTextFile
方法讀取文件內容并打印出來。
請確保在編譯和運行代碼時,classpath中包含必要的Flink庫和Hadoop庫。