标签：java reduce hadoop mapreduce cleanup 当中 org apache import
reduce当中的cleanup的用法：
马克-to-win @ 马克java社区：上面的topN是解决每个组里的topN，比如每个订单中的最小的。但如果需要横向的比较所有的key(初学者忽略：cleanup方法慎用， 如果所有的key的数据巨大量怎么办？Map map = new HashMap();内存都不够了， 所以考虑多步mapreduce)，选出topN，得用cleanup。
马克-to-win @ 马克java社区：从现在开始，我们讲一些特殊用法，我们知道，map是读一行执行一次，reduce是对每一key，或一组，执行一次。但是如果需求是当我们得到全部数据之后，需要再做一些处理，之后再输出怎么办？这时候setUp或cleanUp就登场了，他们像servlet的init和destroy一样都只执行一次。map和reduce都有setUp或cleanUp，原理一样。我们只拿reduce做例子。
马克-to-win @ 马克java社区：这样对于最终数据的过滤筛选和输出步骤，要放在cleanUp中。前面我们的例子都是一行一行（对于map），一组一组（对于reduce）输出，借助cleanup,我们可以全部拿到数据，完全按照java过去的算法，最后过滤输出。下面我们用它解决topN问题。
还以wordcount为例，求出单词出现数量前三名。
package com;
import java.io.File;
import java.io.IOException;
import java.util.*;
import java.util.Map.Entry;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class ReduceSetupTestMark_to_win {
public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
private IntWritable one = new IntWritable(1);
private Text word = new Text();
/*
hello a hello win
hello a to
hello mark
*/
public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
System.out.println("key is " + key.toString() + " value is " + value.toString());
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
更多内容请见原文，文章转载自：https://blog.csdn.net/qq_44594249/article/details/97152203
标签：java,reduce,hadoop,mapreduce,cleanup,当中,org,apache,import 来源： https://www.cnblogs.com/xiaolongxia1922/p/15509029.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。