MapReduce---自定义分区类实现全排序_d)任务l:新建custompartitionandfullsortsorter对象,实现reduc-程序员宅基地

技术标签: mapreduce  hadoop  全排序  Hadoop实战  

排序是MapReduce的核心技术,排序分为部分排序,全排序和二次排序。

部分排序:调用默认的HsshPartitioner,不需要操作,每个reduce聚合的key都是有序的。

全排序:对reduce输出的所有的key实现排序

             方法1:设置一个reducde

             方法2:自定义分区类实现全排序

下面以统计每年的最高气温为例进行示例:

注意:源文件是一个sequenceFile序列文件<IntWritable, IntWritable>

1、MaxTempMapper

package hadoop.mr.sort.total.custom;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * MaxTempMapper
 */
public class MaxTempMapper extends Mapper<IntWritable, IntWritable, IntWritable, IntWritable> {

	protected void map(IntWritable key, IntWritable value, Context context) throws IOException, InterruptedException {
		context.write(key,value);
	}
}

2、MaxTempReducer

package hadoop.mr.sort.total.custom;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
MaxTempReducer
 */
public class MaxTempReducer extends Reducer<IntWritable, IntWritable, IntWritable, IntWritable>{
	protected void reduce(IntWritable key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
		int max = Integer.MIN_VALUE ;
		for(IntWritable iw : values){
			max = max > iw.get() ? max : iw.get() ;
		}
		context.write(key,new IntWritable(max));
	}
}


3、自定义分区类,实现全排序

package hadoop.mr.sort.total.custom;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Partitioner;

/**
 * 自定义分区类,实现全排序
 */
public class YearPartitioner extends Partitioner<IntWritable, IntWritable> {

	public int getPartition(IntWritable key, IntWritable value, int numPartitions) {
		int year = key.get();
		if(year < 1930){
			return 0 ;
		}
		else if(year > 1960) {
			return 2 ;
		}
		return 1 ;
	}
}

4.、App

package hadoop.mr.sort.total.custom;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.SequenceFileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 */
public class App {
	public static void main(String[] args) throws Exception {
		args = new String[]{"d:/java/mr/data/temp.seq", "d:/java/mr/out"};
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(conf);
		if(fs.exists(new Path(args[1]))){
			fs.delete(new Path(args[1]),true);
		}

		Job job = Job.getInstance(conf);

		job.setJobName("maxTemp");
		job.setJarByClass(App.class);

		job.setMapperClass(MaxTempMapper.class);
		job.setReducerClass(MaxTempReducer.class);

		FileInputFormat.addInputPath(job,new Path(args[0]));
		FileOutputFormat.setOutputPath(job,new Path(args[1]));

		//设置输入格式
		job.setInputFormatClass(SequenceFileInputFormat.class);
		job.setPartitionerClass(YearPartitioner.class);

		job.setOutputKeyClass(IntWritable.class);
		job.setOutputValueClass(IntWritable.class);

		job.setNumReduceTasks(3);

		job.waitForCompletion(true);
	}
}





版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/tian_qing_lei/article/details/77387666

智能推荐

ssh-keygen - 认证密钥生成、管理和转换(基于FreeBSD 12.1)_freebsd sshd 生成密钥-程序员宅基地

文章浏览阅读682次。命令参数选项usage: ssh-keygen [-q] [-b bits] [-t dsa | ecdsa | ed25519 | rsa | rsa1] [-N new_passphrase] [-C comment] [-f output_keyfile] ssh-keygen -p [-P old_passphrase] [-N ne..._freebsd sshd 生成密钥

注解--注释注解_注解@__-程序员宅基地

文章浏览阅读669次。黑马程序员注解–注释注解测试类pro注解解析测试主方法package A_Part02.annotation02;import java.lang.annotation.ElementType;import java.lang.annotation.Retention;import java.lang.annotation.RetentionPolicy;import java.lang.annotation.Target;@Target({ElementType_注解@__

卡通人物手脚的绘画方法和技巧-程序员宅基地

文章浏览阅读150次。俗话说“画人难画手”,这说明画手是比较难的,为此我们应先了解手的结构。  手的结构可分为手掌和手腕两部分,要将手掌看成一个不规则的五边形,作画时,先要将这两部分看作一个整体,画出手的边线,再定出大拇指的位置。要明确每个手指的长度是各不相同的,手指的关节部位要适当弯曲,在特写画面中,要画出手指的两个关节,特别要强调一下拇指和小指的外轮廓线,这样会更有立体感。   [img]/uplo..._opengl绘制卡通形象

网页右边没有滚动条,内容超出也看不到怎么办?_网页没有下拉滚动条怎么办-程序员宅基地

文章浏览阅读4.4k次。遇到的问题:博主正在进行vue组件开发,将主页面添加了组件之后,发现在浏览器中打开内容超出但没有滚动条解决方法:我们可以找一下css中的设置,去掉 html和body中的overflow:hidden;即可!..._网页没有下拉滚动条怎么办

Linux中源代码安装及ps命令_linux安装ps命令-程序员宅基地

文章浏览阅读2.5k次。1.源码安装:httpd(httpd依赖于两个软件)源代码安装步骤:确认源代码编译环境需安装支持 C/C++程序语言的 编译器解包 —— tar解包、释放出源代码文件配置 —— ./configure针对当前系统、软件环境,配置好安装参数编译 —— make将源代码文件变为二进制的可执行程序安装 —— make install将编译好的程序文件复制到系统中先通过sftp命令在windows命令上将文件传到linux中将文件解压缩至指定目录先创建_linux安装ps命令

pandas入门:Series、DataFrame、Index基本操作都有了!-程序员宅基地

文章浏览阅读1.7w次,点赞13次,收藏157次。导读:pandas是一款开放源码的BSD许可的Python库。它基于NumPy创建,为Python编程语言提供了高性能的、易于使用的数据结构和数据分析工具。pandas应用领域广泛,包括..._dataframe index

随便推点

Java Spring MVC项目搭建(二)——项目配置_explise如何搭建springmvc-程序员宅基地

文章浏览阅读326次。文章转载自:https://www.cnblogs.com/eczhou/p/6287876.html1、站点配置文件web.xml每一个Spring MVC 项目都必须有一个站点配置文件web.xml,他的主要功能吗....有一位大哥已经整理的很好,我借来了,大家看看:引用博客地址: http://www.cnblogs.com/yqskj/articles/2233061.html..._explise如何搭建springmvc

ARM开发环境入门(含电路仿真)_arm could not open file-程序员宅基地

文章浏览阅读768次。ARM入门一、所需软件环境二、参考教程三、实验及步骤(一)MDK5的stm32开发(二)Proteus 8 Professional仿真四、出现的问题与总结一、所需软件环境我使用的是MDK5.10以及两个包ARM.CMSIS.3.20.4.packKeil.STM32F1xx_DFP.1.0.4.pack仿真实验所需软件Proteus 8 Professional二、参考教程手动配置环境点我跳转B站MDK5内配置湖广午王代码编译可能会出现很多错误。我是网上随便找的一个代码。Proteus _arm could not open file

Simulink实时仿真--Desktop Real-Time_simulink real-time-程序员宅基地

文章浏览阅读4.1w次,点赞28次,收藏191次。什么是实时仿真 首先简单介绍一下实时仿真的概念,所谓Real-Time就是指程序运行的时间和真实时间是一致的。比如我们建立一个惯性环节对单位阶跃信号的响应的仿真程序,仿真时间为10秒;而程序很可能几毫秒就运行完,并给除了你计算结果,也就是说这个过程是非实时的。它所耗费的时间却决于模型的复杂程度、计算机性能等因素,因此这个时间对我们来说是不可控的。然而在进行仿真,特别是涉及到硬件的硬件再环仿真_simulink real-time

java ant 安装成功_java Ant 的使用-程序员宅基地

文章浏览阅读86次。Apache Ant 1.7.0 is the best available version的下载地址:http://ant.apache.org/bindownload.cgi部署:参考JAVA_HOME的部署============================测试ant安装成功没有。以 HelloWorld 为例介绍他的使用。此示例可在此下载:ftp://cinc.dns2go.com/p..._ant需要安装java

Unity3D Transform.localScale 简析_unity localscale-程序员宅基地

文章浏览阅读1.7w次,点赞14次,收藏36次。Unity3D Transform.localScale 简析一、简述二、应用一、简述在官方文档中是这样描述Transform.localScale的:The scale of the transform relative to the GameObjects parent.转换相对于GameObjects父对象的比例如下图,Transform.localScale控制的对象即为在Inspe..._unity localscale

vscode中如何切换Anaconda环境_vscode 连接到conda环境-程序员宅基地

文章浏览阅读3.7k次,点赞4次,收藏3次。点击左下角,然后选择环境_vscode 连接到conda环境