范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文
国学影视

hadoop之mapreduce快速上手

  需求描述将每一行文本数据变成<单词,1>这样的k,v数据
  将相同单词的一组k,v数据进行聚合:累加所有的v
  例如
  可以创建多个文件,内容格式如下hello java hello python …
  经过分析计算生成结果:hello 2 java 1 python 1前期准备
  数据准备:a.txt
  hello java
  hello python
  hello hadoop
  hello sparkb.txt c.txt
  hello hadoop
  hello python
  hello python
  hello pythonc.txt
  hello hadoop
  word hadoop
  hello spark
  hello spark
  启动hadoop(我这里namenode和datanode都在localhost上)hadoop-daemon.sh start namenode dataname
  启动yarn(也是在localhost启动)start-yarn.sh
  在hadoop中创建目录,并将a.txt b.txt c.txt上传hadoop fs -mkdir -p /wordcount/input hadoop fs -put *txt /wordcount/input
  处理maptask的类,每读取一行调用一次,主要是将一行:hello java,转化为:(hello,1)(java,1)(hello,1)import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class WordcountMapper extends Mapper{ @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); String[] words = line.split(" "); for(String word:words){ context.write(new Text(word), new IntWritable(1)); } } }执行reducetask类,处理maptask返回结果,进行聚合处理import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; public class WordcountReducer extends Reducer{ @Override protected void reduce(Text key, Iterable values,Context context) throws IOException, InterruptedException { int count = 0; Iterator iterator = values.iterator(); while(iterator.hasNext()){ IntWritable value = iterator.next(); count += value.get(); } context.write(key, new IntWritable(count)); } }调度程序,将job进行执行在local上(local为hadoop本地虚拟出来的)import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class JobSubmitterLinuxToYarn { public static void main(String[] args) throws Exception { Configuration conf = new Configuration();  # conf.set("mapreduce.framework.name", "yarn"); # 设置job提交到yarn运行,默认local Job job = Job.getInstance(conf); job.setJarByClass(JobSubmitterLinuxToYarn.class); job.setMapperClass(WordcountMapper.class); job.setReducerClass(WordcountReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.setInputPaths(job, new Path("/wordcount/input")); FileOutputFormat.setOutputPath(job, new Path("/wordcount/output")); job.setNumReduceTasks(3); boolean res = job.waitForCompletion(true); System.exit(res?0:1); } }在linux上进行编译打包.java
  1.1将代码上传至服务器
  1.2开始进行编译打包[root@node1 java_jar]# javac *.java -cp $(hadoop classpath)[root@node1 java_jar]# vi MANIFEST.MF #添加 Main-Class: JobSubmitterLinuxToYarn[root@node1 java_jar]# jar -cvfm mr.jar MANIFEST.MF *.class [root@node1 java_jar]# ls
  开始执行任务[root@node1 java_jar]# hadoop jar mr.jar JobSubmitterLinuxToYarn控制台输出
  查看hadoop目录[root@node1 java_jar]# hadoop fs -ls /wordcount/output [root@node1 java_jar]# hadoop fs -cat /wordcount/output/par*
  如果你是在yarn上调度,可以打开 http://node1:8088/cluster
  控制台输出

张靓颖痴爱冯轲15年,被骗走亿万身家,离婚4年后二人天差地别恋爱脑究竟有多可怕?戏文里的王宝钏苦受寒窑18载,现实中的张靓颖痴爱了15年,当了15年的赚钱机器。十九岁的张靓颖遇到了冯轲,她以为对方是自己的救赎,却不知道这是陷入深渊第第一步。有同一张脸,命运却差距大的20位明星,红与容貌,不是玄学容貌在娱乐圈的用处不言而喻,无论是在红毯上,还是荧幕上,长得更美或更帅的明星,总能收获更多的关注度。要是作为演员,长相的优势,让你更容易跻身主角。那么在娱乐圈容貌真的能决定一个明星全是戏骨斗法!这次大博弈里的女人戏,真看过瘾了最近热门的剧集之一,当属耀客传媒出品的大博弈这是周梅森编剧继人民的名义突围之后的全新力作。这一次,他将目光投向国企改革,向观众展现了在改革浪潮下引发的一系列商业博弈。追过他以往作品连战四季,呼兰获脱5总冠军常通宵写稿,称明年会继续参加脱口秀大集不能在我们手里赶没。脱口秀大会走到第五季,热门选手呼兰夺冠。他擅长以观察者视角表达对现象情绪的思考,在这一季留下了很多金句谈自己炒股失利,他说钱都升华了,谈职场上的躺和卷林青霞与亲姐在河南相认后,发现对方一贫如洗,她伸手帮忙了吗1990年,林青霞在长春拍摄电影滚滚红尘。在拍摄间隙,林青霞亲昵地拉着一位衣着土气女人的手,亲切地喊着大姐。这位大姐对林青霞很是疼爱,一举一动都透露着她对林青霞的感情。一看就是宠爱童瑶曾被张默当众殴打,富商王冉给她安全感,37岁苦尽甘来2019年,童瑶和王冉在意大利的古堡里举行了一场浪漫至极的婚礼。王冉温柔地对童瑶说我会照顾你一辈子。童瑶羞涩一笑,她拥抱着王冉。曾经那个被前男友按在地上殴打,跪地求饶依旧满身伤痕的最欠揍的穿帮镜头佟年的衣服忍了,周冬雨无意间露了啥?最欠揍的穿帮镜头佟年的衣服忍了,周冬雨无意间露了啥?穿帮镜头一亲爱的,热爱的中,她独自一人来到广州参加粉丝见面会,可是大家发现别人穿的都是短袖,而杨紫却穿着一件厚厚的棉衣。真是让人56岁刘嘉玲为黄某生站台!晒贴身合影引争议,两人私交关系甚密刘嘉玲公开为黄某生站台11月份,有网友发现,知名影后刘嘉玲突然在个人社媒上分享了一则照片,引起了不小的反响,不少人因此而对刘嘉玲口诛笔伐。据悉,事情的经过是这样的,人美心善的刘嘉玲曝张飞得知陆树铭去世!悲伤过度病情恶化,手绑束缚带恐自残饿了吗?戳右边关注我们,每天给您送上最新出炉的娱乐硬核大餐!11月16日,有网友在社交平台上透露张飞的扮演者李靖飞在得知陆树铭去世后,因悲伤过度导致病情恶化。动态一出,李靖飞的身体金星和女儿逛街照片曝光,俩人似同闺蜜,网友金星能生娃?文你也慢慢看审你也慢慢看相信大家对于金星而言非常的不陌生,大家也都知道金星的出身其实是一个男人,其实他是男人的时候就比较喜欢舞蹈,而且他为了喜爱舞蹈和爸爸妈妈商量,变身于女人。金星立冬过后胃口好,推荐六道下饭菜,孩子爱吃长身高,营养又美味大家好这里是香姐说美食,每天分享好吃的家常菜。立冬过后天气转凉,没有了夏天的燥热感,孩子的胃口也好起来了,抓住这个长高黄金期,给孩子安排营养又好吃的下饭菜,孩子爱吃长得快,不怕他们
酱酒视界漫集丨第37买酱酒一定要避开这些坑,这些都是劣质酒这几年在酱酒热的大环境下,白酒催生出了很多五花八门的花样。很多酒商以此为营销噱头,那么今天详细漫说一下以下几种酒的具体情况,记住这些酒,这些都可能是劣质酒。大家一定不要上当哇!发霉苗乡美食霉豆腐霉豆腐,是苗乡的一种传统美食,有着悠久的历史。在黔东南天柱县锦屏县,以及与之接壤的湘西南靖州县一带的苗族同胞,自古以来就有制作霉豆腐的传统工艺和喜爱吃霉豆腐的嗜好。霉豆腐,是苗乡人大雪过后,不管有钱没钱要多吃这10道黄金菜,补肾养阳不受寒大家好,欢迎大家来到我的美食自媒体,我是美食领域创作者锦绣V山东专注美食,让生活更有味。今天为大家带来了几道家常美食的做法,这几道美食也是深受大家的喜欢,而且是很常见的几道美食。天22张难得一见的精彩图片,看完大开眼界了1。桂林的航拍照片,突然领略到山水画的美妙之处了。2。珠穆朗玛峰峰顶的现状,在过去登珠峰是一项可能会付出生命的极限挑战,而如今借助现代科技,只要有钱就能上去了,珠峰也早已人满为患,重磅!怀化城市形象品牌旅游宣传口号发布红网时刻新闻记者陈沫涵报道12月9日,首届怀化市旅游发展大会在洪江区开幕,现场,怀化市委常委市委宣传部长张远松发布了怀化城市形象品牌和旅游宣传口号。怀化城市形象品牌为一粒种子改变世创历史佳绩!海口游泳队斩获28枚省运会游泳金牌包揽4项接力比赛金牌新海南客户端南海网南国都市报12月9日消息(记者陈望)12月8日晚,海南省第六届运动会游泳比赛在儋州收官。经过4天激烈角逐,海口游泳队28名健儿劈波斩浪,奋泳拼搏,最终斩获28金2媒体人武汉市足协前秘书长付翔被李铁专案组带走协助调查直播吧12月9日讯媒体人冉雄飞在社媒谈到了李铁案件的进展,他表示武汉市足协前秘书长付翔被李铁专案组带走协助调查。冉雄飞表示据传中国足协执委,武汉市足协前秘书长,前足球管理中心主任付生活与忆念出版,献给爱思者的诚挚礼物近日,知名学者何怀宏历时五年所写的哲学散文新著生活与忆念由湖南人民出版社出版。何怀宏是知名伦理学家北京大学哲学系教授,长期深耕伦理学人生哲学社会历史等领域的研究,曾获第九届第十七届五星巴西能否迈过克罗地亚的奇阵?八强淘汰赛的首场,是五星巴西对阵莫德里奇佩里西奇领衔的克罗地亚。被视为夺冠热门的桑巴军团,能否迈过奇阵?这将是一大考验。巴西队在卡塔尔世界杯上的征程,到目前显得十分轻松。小组赛他们产房是婚姻的照妖镜,你嫁的是人是鬼,走一遭就知道(漫画揭秘)导语有人说你嫁的是人是鬼,在生孩子的时候一看便知,的确,产房见人心,产房才是婚姻的照妖镜,照出真情也照出假意,产房不仅是迎接新生命的地方,更是考验人性的所在。这里充满生与死的挣扎,只要您自己够正,老实本分诚恳低调,这个世界没有人能奈何得了您不要和任何不自律的坏人打交道,避免他们黏上您。这些坏人只会情绪化,只会胡搅蛮缠。一个字,一句话,全是灾难。实际上,只要您自己够正,老实,本分,诚恳,低调,这个世界没有人能奈何得了您