范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文
国学影视

hadoop之mapreduce快速上手

  需求描述将每一行文本数据变成<单词,1>这样的k,v数据
  将相同单词的一组k,v数据进行聚合:累加所有的v
  例如
  可以创建多个文件,内容格式如下hello java hello python …
  经过分析计算生成结果:hello 2 java 1 python 1前期准备
  数据准备:a.txt
  hello java
  hello python
  hello hadoop
  hello sparkb.txt c.txt
  hello hadoop
  hello python
  hello python
  hello pythonc.txt
  hello hadoop
  word hadoop
  hello spark
  hello spark
  启动hadoop(我这里namenode和datanode都在localhost上)hadoop-daemon.sh start namenode dataname
  启动yarn(也是在localhost启动)start-yarn.sh
  在hadoop中创建目录,并将a.txt b.txt c.txt上传hadoop fs -mkdir -p /wordcount/input hadoop fs -put *txt /wordcount/input
  处理maptask的类,每读取一行调用一次,主要是将一行:hello java,转化为:(hello,1)(java,1)(hello,1)import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class WordcountMapper extends Mapper{ @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); String[] words = line.split(" "); for(String word:words){ context.write(new Text(word), new IntWritable(1)); } } }执行reducetask类,处理maptask返回结果,进行聚合处理import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; public class WordcountReducer extends Reducer{ @Override protected void reduce(Text key, Iterable values,Context context) throws IOException, InterruptedException { int count = 0; Iterator iterator = values.iterator(); while(iterator.hasNext()){ IntWritable value = iterator.next(); count += value.get(); } context.write(key, new IntWritable(count)); } }调度程序,将job进行执行在local上(local为hadoop本地虚拟出来的)import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class JobSubmitterLinuxToYarn { public static void main(String[] args) throws Exception { Configuration conf = new Configuration();  # conf.set("mapreduce.framework.name", "yarn"); # 设置job提交到yarn运行,默认local Job job = Job.getInstance(conf); job.setJarByClass(JobSubmitterLinuxToYarn.class); job.setMapperClass(WordcountMapper.class); job.setReducerClass(WordcountReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.setInputPaths(job, new Path("/wordcount/input")); FileOutputFormat.setOutputPath(job, new Path("/wordcount/output")); job.setNumReduceTasks(3); boolean res = job.waitForCompletion(true); System.exit(res?0:1); } }在linux上进行编译打包.java
  1.1将代码上传至服务器
  1.2开始进行编译打包[root@node1 java_jar]# javac *.java -cp $(hadoop classpath)[root@node1 java_jar]# vi MANIFEST.MF #添加 Main-Class: JobSubmitterLinuxToYarn[root@node1 java_jar]# jar -cvfm mr.jar MANIFEST.MF *.class [root@node1 java_jar]# ls
  开始执行任务[root@node1 java_jar]# hadoop jar mr.jar JobSubmitterLinuxToYarn控制台输出
  查看hadoop目录[root@node1 java_jar]# hadoop fs -ls /wordcount/output [root@node1 java_jar]# hadoop fs -cat /wordcount/output/par*
  如果你是在yarn上调度,可以打开 http://node1:8088/cluster
  控制台输出

盘点NBA生不逢时六大球星,麦迪命运多舛,罗斯昙花一现人生百态,世事无常,这句极具哲理的成语同样适用于NBA舞台。在巨星云集的舞台,即有历久弥新的不老传说,也有腾空出世的少年英雄。但,同样天有不测风云,在客观因素不断的NBA舞台,旦夕皮肤结构图皮肤管理师入门必学皮肤结构图皮肤管理师入门必学皮肤是指身体表面包在肌肉外面的组织,皮肤含水量占人体总水量70,是人体最大的器官,对人体起着极其重要的保护作用。今天带大家认识一下我们的皮肤结构,因为只机械革命Code01不止为程序员打造,更是为爱玩游戏的程序员打造头条创作挑战赛虽然智能手机的普及度已经非常高了,但在专业领域中,智能手机的办公效率肯定还是无法和PC电脑相比的,原本定位于电竞级PC市场的品牌机械革命也不再局限于电竞游戏笔记本产品秋行大运自在山西国庆微度假旅游线路发布官方带你打卡金秋美景山西不仅有着众多独一无二的自然景观,还蕴藏着深厚的历史人文底蕴。2022年十一国庆黄金周即将来临,在落实疫情防控常态化基础上,为提振山西文旅消费市场,拉动经济内循环,山西省文化和旅采摘研学非遗十一游商丘,官方推出5条精品线路金秋时节,山林渐染,随着十一国庆假期的来临,为激发文旅消费,方便游客游乐商丘,商丘市文化广电和旅游局最新推出五条精品旅游线路可供选择,包括乡村体验游厚重文化游经典红色游生态康养游等三将缺席CBA新赛季第一阶段比赛,恐影响各队排名CBA联赛20222023赛季即将在10月10日战火重燃,举办地杭州已经做好准备迎接各支球队的到来。休赛期包括周鹏高诗岩闫鹏飞朱旭航在内的多位本土优质球员转会,也让新赛季的CBA联天梭手表哪个系列最好,天梭和浪琴哪个好首先还是给大家展示一下左左收到的宝贝全家福。精致的盒子里,有一个贴心的绒面小布袋,说明书保修卡就不一一展示了,各种齐全。还有赠送的一个拆卸表带的小工具,天梭这款手表风格上来说跨界范致午夜黑色锈蚀了眼眸,透骨冰凉。贴近夜的面颊,来自远方的一声轻叹,我被泛滥的情绪淹没。凌晨三点,我轻轻合上笔记本,犹如关闭一个故事的尾声。句号算一个不起眼的球,省略号,也就是一头狂奔的驴羊救了狼之后羊群在草地上垂首觅食,它们只是偶尔地抬起头来,盲目地望望远方,谁也不说一句话,大概是各揣心腹事,尽在不言中吧?突然,狼跑了过来,羊群惊扰四散。可忽然听得一声惨叫,原来,狼不慎掉进了人生最大的追求人生最大追求是什么?追求即愿望,理想。因人而异,因时而异。一个人从小到大,因思想认识不同,愿望和理想就不同。也就是追求不同。譬如,农民的追求就是风调雨顺,庄稼丰收,然后颗粒归仓,享当你处在低谷面对太阳的时候,影子在你身后。当你背对太阳的时候,影子就在你的眼前。世界从来没有变了,只有我们面对世界的方向变了!不要习惯把别人愿意做的事情当成理所当然,把别人付出的当成别人欠你的
沉迷穿女装是怎样的体验?任何爱好,如果太沉迷就不是好事。更别说男人特别爱穿女装了。当然,我并不是反对男人穿女装,作为一种稍微有点特别的爱好,穿穿也无妨,其实我有时候也会这样穿。只是呢,我自认为还没有到沉迷得了血栓,吃什么好得快?得了血栓,吃什么好的快?张大夫首先跟大家说几句题外话。以后大家在问答版块提问题,尽量把问题提的详细一些。比如说这个问题,提问者可以说清楚具体病名,到底是动脉性血栓,还是静脉性血栓。肝不好,手指甲会发生什么变化?肝脏好不好。手上都会出现各种各样的信号来警示我们,肝宝宝不健康了,要及时做好治疗。那么手出现哪些信号说明肝不好呢?我们来看看多年临床经验的刘医师怎么说的。1。多留意指甲竖条纹。看看为什么有些肾病患者的脸色发黑?为什么有些肾病患者脸色发黑?肾病患者脸色灰暗,一般见于慢性肾病的晚期。其实不光是慢性肾病可能观察到这种现象,慢性肝病恶性肿瘤慢性心肺疾病的晚期都有可能发现患者面色灰暗的现象。我个人为什么术前麻醉医生在患者口鼻上扣面罩?有很多患者以为手术前给患者扣的这个面罩里是麻药,吸一口就睡着了。其实是这样的,对于幼儿全麻,这个面罩里确实是吸入麻醉药。因为幼儿进手术室后不配合护士扎针,所以先用吸入麻醉药让他们睡陈梦不敌王曼昱无缘女单决赛,比赛发生了什么?国乒几大主力陈梦孙颖莎王曼昱刘诗雯及次一级别的陈幸同王艺迪等人之间的比赛因为是队友,相互之间有胜负很正常,并不是爆冷!本届全运会距离东京奥运会结束时间仅有一个多月,对于参加了奥运会女生掉价的行为有哪些?女生最掉价的行为就是是不矜持。那天刷了个抖音,抖音说有些女生被撩的原因,如果女生不去回应撩你,那么撩你的人还会撩你吗?当被撩时,总是去回应,人家挑逗你一句,你就去回应一句,所以男生网约车市场大动荡,打工人能从资本家手中夺食吗?动荡了吗?第一,国家监管依然存在,而且越来越严格,国家打破垄断,让百花齐放,但这里根本没有个人啥事。第二,如何定义资本家?社会主义市场经济下,哪来的资本家?违反制度不科学啊现在网约申请留学过程中,GPA的重要性有多大?留学申请过程中,经常听到学生问老师,我GPA才2。8能申请到学校吗?我GPA3。6,是不是一定能申到TOP10呢?GPA是不是越高越好呢?其实大家把GPA太神话了,应该说GPA是考为什么总有人说过了35没有市场了,我却看到身边超过35的技术人员,跳槽都很容易?别被个别现象给吓到了,那只是很小一部分公司,很小一部分人员,并不具代表性,绝大部分公司都没有这样的歧视。35岁的技术人员,无论是技术还是为人处世,都是越发成熟的,35岁,对于大多数强瑞技术哭了!股民中签如中枪,弃购2。76创近十年纪录,他们在担心什么?新股破发不断,一签最大亏损近1。6万元,中签的投资者心都碎了,面对中签如高位接飞刀甚至就是接炮弹,部分投资者选择弃购,避免破发损失。强锐科技是一家专用设备制造企业,采取的是直接定价