13518219792
这篇文章主要介绍了Hadoop中MapReduce的示例分析，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。
创新互联总部坐落于成都市区，致力网站建设服务有做网站、网站制作、网络营销策划、网页设计、网站维护、公众号搭建、微信小程序、软件开发等为企业提供一整套的信息化建设解决方案。创造真正意义上的网站建设，为互联网品牌在互动行销领域创造价值而不懈努力！
MapReduce设计理念
移动计算，而不是移动数据。
MapReduce之Helloworld（Word Count）处理过程
MapReduce的Split大小 - max.split(200M) - min.split(50M) - block(128M) - max(min.split,min(max.split,block))=128M
Mapper
Map-reducede 的 思想就是“分而治之”
Mapper负责“分”，即把发杂的任务分解为若干个“简单的任务”执行
“简单的任务”有几个含义：
数据或计算规模相对于原任务要大大缩小；
就近计算，即会被分配到存放了所需数据的节点进行计算；
这些小任务可以并行计算，彼此间几乎没有依赖关系。
Reduce
对map阶段的结果进行汇总；
reducer的数目由mapred-site.xml配置文件里的项目mapred.reduce.tasks决定。缺省值为1，用户可以覆盖（一般在程序中调整，不修改xml默认值）
shuffler（最为复杂的一个环节）
参考：MapReduce:详解Shuffle过程
在mapper和reduce中间的一个步骤
可以把mapper的输出按照某种key值重新切分和组合成N份，把key值符合某种范围的组输送到特定的reduce那里去处理
可以简化reduce过程
附：Helloworld之WordCount
//WCJob.java
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.StringUtils;
/**
* MapReduce_Helloworld程序
*
* WCJob
* @since V1.0.0
* Created by SET on 2016-09-11 11:35:15
* @see
*/
public class WCJob {
public static void main(String[] args) throws Exception {
Configuration config = new Configuration();
config.set("fs.defaultFS", "hdfs://master:8020");
config.set("yarn-resourcemanager.hostname", "slave2");
FileSystem fs = FileSystem.newInstance(config);
Job job = new Job(config);
job.setJobName("word count");
job.setJarByClass(WCJob.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setMapperClass(WCMapper.class);
job.setReducerClass(WCReducer.class);
job.setCombinerClass(WCReducer.class);
FileInputFormat.addInputPath(job, new Path("/user/wc/wc"));
Path outputpath = new Path("/user/wc/output");
if(fs.exists(outputpath)) {
fs.delete(outputpath, true);
}
FileOutputFormat.setOutputPath(job, outputpath);
boolean flag = job.waitForCompletion(true);
if(flag) {
System.out.println("Job success@!");
}
}
private static class WCMapper extends Mapper {
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
/**
* 格式：hadoop hello world
* map 拿到每一行数据 切分
*/
String[] strs = StringUtils.split(value.toString(), ' ');
for(String word : strs) {
context.write(new Text(word), new IntWritable(1));
}
}
}
private static class WCReducer extends Reducer {
@Override
protected void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {
int sum = 0;
for(IntWritable intWritable : values) {
sum += intWritable.get();
}
context.write(new Text(key), new IntWritable(sum));
}
}
} 感谢你能够认真阅读完这篇文章，希望小编分享的“Hadoop中MapReduce的示例分析”这篇文章对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联行业资讯频道，更多相关知识等着你来学习!
