MapReduce執行原理是什么

這篇文章主要介紹“MapReduce執行原理是什么”，在日常操作中，相信很多人在MapReduce執行原理是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”MapReduce執行原理是什么”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

MapReduce概述

◆MapReduce是一種分布式計算模型，由Google提出，主要用于搜索領域，解決海量數據的計算問題.

◆MR由兩個階段組成：Map和Reduce，用戶只需要實現map()和reduce()兩個函數，即可實現分布式計算，非常簡單。

◆這兩個函數的形參是key、value對，表示函數的輸入信息。

MR執行流程

MapReduce執行原理

◆執行步驟：

1. map任務處理

1.1 讀取輸入文件內容，解析成key、value對。對輸入文件的每一行，解析成key、value對。每一個鍵值對調用一次map函數。

1.2 寫自己的邏輯，對輸入的key、value處理，轉換成新的key、value輸出。

1.3 對輸出的key、value進行分區。

1.4 對不同分區的數據，按照key進行排序、分組。相同key的value放到一個集合中。

1.5 (可選)分組后的數據進行歸約。

2.reduce任務處理

2.1 對多個map任務的輸出，按照不同的分區，通過網絡copy到不同的reduce節點。

2.2 對多個map任務的輸出進行合并、排序。寫reduce函數自己的邏輯，對輸入的key、value處理，轉換成新的key、value輸出。

2.3 把reduce的輸出保存到文件中。

對文本文件hello 文本內容如下 文件進行Mapreduce

hello you  
hello me

代碼實現如下

package MapReduce;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCountApp {
	static final String INPUT_PATH = "hdfs://hadoop:9000/hello";
	static final String OUT_PATH = "hdfs://hadoop:9000/out";
	
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		final FileSystem fileSystem = FileSystem.get(new URI(INPUT_PATH), conf);
		final Path outPath = new Path(OUT_PATH);
		if(fileSystem.exists(outPath)){
			fileSystem.delete(outPath, true);
		}
		
		final Job job = new Job(conf , WordCountApp.class.getSimpleName());
		//1.1指定讀取的文件位于哪里
		FileInputFormat.setInputPaths(job, INPUT_PATH);
		//指定如何對輸入文件進行格式化，把輸入文件每一行解析成鍵值對
		//job.setInputFormatClass(TextInputFormat.class);
		
		//1.2 指定自定義的map類
		job.setMapperClass(MyMapper.class);
		//map輸出的<k,v>類型。如果<k3,v3>的類型與<k2,v2>類型一致，則可以省略
		//job.setMapOutputKeyClass(Text.class);
		//job.setMapOutputValueClass(LongWritable.class);
		
		//1.3 分區
		//job.setPartitionerClass(HashPartitioner.class);
		//有一個reduce任務運行
		//job.setNumReduceTasks(1);
		
		//1.4 TODO 排序、分組
		
		//1.5 TODO 規約
		
		//2.2 指定自定義reduce類
		job.setReducerClass(MyReducer.class);
		//指定reduce的輸出類型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);
		
		//2.3 指定寫出到哪里
		FileOutputFormat.setOutputPath(job, outPath);
		//指定輸出文件的格式化類
		//job.setOutputFormatClass(TextOutputFormat.class);
		
		//把job提交給JobTracker運行
		job.waitForCompletion(true);
	}
	
	/**
	 * KEYIN	即k1		表示行的偏移量
	 * VALUEIN	即v1		表示行文本內容
	 * KEYOUT	即k2		表示行中出現的單詞
	 * VALUEOUT	即v2		表示行中出現的單詞的次數，固定值1
	 */
	static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>{
		protected void map(LongWritable k1, Text v1, Context context) throws java.io.IOException ,InterruptedException {
			final String[] splited = v1.toString().split(" ");
			for (String word : splited) {
				context.write(new Text(word), new LongWritable(1));
			}
		};
	}
	
	/**
	 * KEYIN	即k2		表示行中出現的單詞
	 * VALUEIN	即v2		表示行中出現的單詞的次數
	 * KEYOUT	即k3		表示文本中出現的不同單詞
	 * VALUEOUT	即v3		表示文本中出現的不同單詞的總次數
	 *
	 */
	static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable>{
		protected void reduce(Text k2, java.lang.Iterable<LongWritable> v2s, Context ctx) throws java.io.IOException ,InterruptedException {
			long times = 0L;
			for (LongWritable count : v2s) {
				times += count.get();
			}
			ctx.write(k2, new LongWritable(times));
		};
	}
		
}

運行上面程序，編輯hello文件上傳至HDFS文件系統中

到此，關于“MapReduce執行原理是什么”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！