搭建hadoop集群(超详细hadoop集群安装配置教程)
搭建hadoop集群(超详细hadoop集群安装配置教程)
虚拟机以及Linux系统安装在之前的两篇分享中已经详细地介绍了方法,并且每一步的都配图了。如果有朋友还是看不懂,那我也爱莫能助了。本篇主要就hadoop服务器操作系统配置进行详细说明,hadoop安装会在下一篇文章中详细的介绍。
hadoop安装包用的是大快DKHadoop发行版,个人觉得DKHadoop的安装过程是比较简单,关于dkhadoop的安装在下一次的分享中再详细介绍吧。下面进入到本篇的主题——服务器操作系统配置教程
一、安装包准备
1、虚拟机分布式安装(三台及以上虚拟机)
若是个人电脑Windows系统或Linux系统,虚拟机上虚拟的三台服务器,则将安装包拷贝到服务器上,进行安装操作即可。
2、物理集群(三台及以上实体服务器)
1、 外网下载模式
2、 本地文件模式
将安装包文件直接拷贝到实体服务器root目录下,进行安装操作即可。
3、上传模式
当服务器在机房,且无显示和输入设备的情况下,应用该模式。
现将文件,安装在本地计算机上(默认为笔记本电脑,在机房现场),并将计算机与服务器连接,将安装包install、DKHInstall上传到服务器root目录下。
二、服务器操作系统配置教程
准备工作完成之后,就要进行服务器配置操作,首先必须三台服务器之间要互相ping通。所谓ping通,就是两台设备之间网络是通的。从一端发送一个数据包,另一端就能够收到,就代表两台设备是能够ping通了。
1、修改权限
目的:使install、DKHInstall两个安装包有可执行的权限。权限不足无法执行一些操作。install里面是脚本和所有组件,DKHInstall里面是安装界面。
步骤:在准备工作中拷贝安装包 install、DKHInstall到主节点目录后,修改文件权限。首先进入root目录,安装目录 install、DKHInstall的权限改为:文件所有者可读可写可执行,与文件所有者属于一个用户组的其他用户可读可执行,其他用户组可读可执行。
命令:
cd /root/
unzip DKHPlantform.zip
chmod -R 755 DKHPlantform
2、搭建Hadoop集群设置SSH免密登录
目的:Hadoop运行过程中需要管理远端Hadoop守护进程,在Hadoop启动以后,NameNode是通过SSH(Secure Shell)来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式,所以我们需要配置SSH运用无密码公钥认证的形式,这样NameNode使用SSH无密码登录并启动DataName进程,同样原理,DataNode上也能使用SSH无密码登录到NameNode。
步骤:
(1)修改本机hosts文件,写入对应关系
为了区分局域网内的每台主机,都会给主机配一个主机名,每台主机之间又是通过IP进行通信,但IP地址不方便记忆,所以配置主机名和IP映射能够实现主机之间的快速方便的访问。
命令:
vi /etc/hosts
通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下按Shift+: 键,输入wq,后回车就可以保存。输入q!后回车则是放弃保存并退出.
进入编辑模式后,按照规则写入主机与ip的对应关系(主机名称dk41是自己命名的,如下图)例:
192.168.1.41 dk41
192.168.1.42 dk42
192.168.1.43 dk43
hadoop集群安装配置
编辑完后,保存退出。把对应关系拷到其他两台或多台机器上。
命令:
scp -r /etc/hosts 192.168.1.42:/etc
scp -r /etc/hosts 192.168.1.43:/etc
(2)执行集群之间免密前的准备工作
执行sshpass.sh的脚本的时候会去读sshhosts和sshslaves这两个文件,替换sshpass.sh中的master和slave文件。
修改文件sshhosts,输入全部机器的主机名,每行一个主机名(如下图)
命令:
vi /root/DKHPlantform/autossh/sshhosts
通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下按Shift+:键,输入wq,后回车就可以保存。输入q!后回车则是放弃保存并退出.
hadoop集群安装配置
修改文件sshslaves,写入除主机名之外的所有机器名(如下图)
命令:
vi /root/DKHPlantform/autossh/sshslaves
通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下按Shift+:键,输入wq,后回车就可以保存。输入q!后回车则是放弃保存并退出.
hadoop集群安装配置
(3)执行集群免密工作
命令:
cd /root/DKHPlantform/autossh
./autossh 主节点主机名 集群密码
例: ./autossh dk41 123456
(4)关闭防火墙
防止访问服务器时某些服务被拦截,需关闭防火墙。
命令:
cd /root/DKHPlantform/autossh
./offIptables.sh
hadoop集群安装配置
3、安装双机热备份的MySQL
目的:存放Hive的元数据
步骤:
(1)从主节点分发mySQL安装目录到第二节点
命令:
scp -r /root/DKHPlantform/mysqlInst/ 192.168.1.42:/root/
(2)主节点执行:
命令:
cd /root/DKHPlantform/mysqlInst/
./mysql.sh 1
从节点执行:
命令:
cd /root/mysqlInst/
./mysql.sh 2
(3)执行成功之后执行热备份(两台机器上都要执行,两个ip互换,41上写42,42上写41,密码是MySQL的密码为:123456。平台内已经设定好,请勿修改):
命令:
source /etc/profile
./sync.sh 192.168.1.xxx(另一台mysql地址)
4、创建数据库
目的:MySQL是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,增加了速度并提高了灵活性。
步骤:
(1)导入MySQL数据表,只在主节点执行:
命令:
mysql -uroot -p123456 < { 此处为sql文件,主目录下文件: dkh.sql}
如:mysql -uroot -p123456
(2)执行完后查看一下两台mysql的数据表是否存在,从主节点中查看执行:
命令:
mySQL -uroot -p123456show databases;
use dkh;
show tables;
hadoop集群安装配置
5、启动安装
目的:服务器配置操作完成之后,启动DKH。
步骤:执行以下命令。
命令:
cd /root/DKHPlantform/dkh-tomcat*/bin/
./startup.sh
6、本地时间服务器搭建步骤
没联网或者装系统时时间未同步,需要搭建本地时间服务器。
(1)搭建内网的ntp服务器
修改/etc/ntp.conf
命令:
Vim /etc/ntp.conf
通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下按Shift+:键,输入wq后回车就可以保存。输入q!后回车则是放弃保存并退出.
修改下列三行:
#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org
在文件最后添加下列两行:
server 127.127.1.0
fudge 127.127.1.0 stratum 10
(2)启动ntp服务
service ntpd start
(3)开机自动启动
chkconfig ntpd on
(4)客户端同步时间
命令:
Vim /etc/ntp.conf
通过按键盘上的insert或是I键进入编辑模式,编辑完成后按一下Esc键然后按一下按Shift+:键,输入wq,后回车就可以保存。输入q!后回车则是放弃保存并退出.
在文件最后添加一行:
*/15 * * * * root ntpdate 192.168.27.35;hwclock -w
用褪色笔写借条(律师教你如何写借条)用褪色笔写借条(律师教你如何写借条)正确地书写和使用借条有利于出借人借款人主张权利,避免经济损失。但现实中,由于借条内容不全面不明确不规范或者被篡改而引致的法律纠纷数不胜数。因此,
临沂小百货(小商品城临沂的电商之路)临沂小百货(小商品城临沂的电商之路)临沂是一个交通枢纽,物流之都从上世纪开始,这里优良的经商环境就吸引了大批南方的经营者到临沂开展业务,由其在以前的西郊服装批发市场以及小商品城,都
女排队员(中国女排12人大名单)女排队员(中国女排12人大名单)7月5日下午,中国排球协会正式在官网上公布了参加东京奥运会的女排和沙滩排球大名单。其中最受关注的中国女排12人大名单,也终于是千呼万唤始出来,队长朱
中国女排队员(曾春蕾是中国女排最低调球员)中国女排队员(曾春蕾是中国女排最低调球员)曾春蕾一度伤了比赛,感动了全场!女排输了但全队表现出色吗?数据不会说谎。曾春蕾上演顶天扣球,没有给对手任何机会。世人皆知。东京奥运会中国女
留在心里的印象作文(记忆中父亲在我心中的印象)留在心里的印象作文(记忆中父亲在我心中的印象)小时候我不太喜欢我的父亲,因为每次交学杂费,别的学生都交完了,而我和姐姐总是被老师在上课的时候叫回家拖到最后才拿的。刚开始我并不觉得有
990银多少钱一克(足金990回收多少钱一克)黄金回收价格具有时效性,如果大家在网上查询出来的黄金回收报价,如果不是当天的价格的话,那么参考的意义不大,因为今天和昨天的回收报价可以相差很大,当然也有可能相差很小,黄金的价格波动
母亲节什么时候几月几号(2021年母亲节具体是几月几日星期几?)母亲节什么时候几月几号(2021年母亲节具体是几月几日星期几?)母亲节是个感恩母亲的节日,在这天就算你在忙也要给母亲送点礼物或者陪伴她,最起码也要打个电话问候下,那2021年母亲节
请律师大概要多少钱(打官司千万不要找法律工作者)随着打官司的日益流行,权利被侵犯的你,头脑里的第一个想法就是去法院打官司。然后你去问一问周边的打过官司的人,他们肯定会告诉你,打官司是一个又费时费力又费钱的活动,然后你就迷茫了。不
牛肉价格多少钱一斤(今日鲜牛肉批发价)01猪价鸡价双跌近期生猪行情可谓是一跌到底,如今已迎来了6连跌,累计跌幅高达3。31元kg,平均每天跌5毛,这么高的跌幅力度,也预示着养猪人的利润再次缩水了450元左右。不仅猪价跟
一点点加盟费多少钱(零食店利润有多大)一点点奶茶隶属于生根餐饮管理(上海)有限公司,成立于2011年,1点点奶茶店以纯正台湾风味奶茶为主打产品,所有饮品皆现煮现卖,极大程度上保证了口感,故人气较好。1点点加盟连锁店广布
a3尺寸是多少厘米(奥迪A3究竟有哪些优势?)a3尺寸是多少厘米(奥迪A3究竟有哪些优势?)有人的地方就有江湖,有车的地方就有套路现在想买车的朋友很容易被一些媒体的文章忽悠,因为你们人类的文章总带有太强的主观色彩。而我,AI局
没完没了(没完没了的自责)没完没了(没完没了的自责)今天又生气了在随意地对孩子发脾气之前,想要考虑的是什么?啊,今天又生气了是否陷入了自我厌恶?明明想冷静地说明哪里不好,却不知不觉间任由情绪发怒。或许,社会
碧江金楼(顺德碧江金楼)碧江金楼(顺德碧江金楼)碧江金楼在顺德北滘碧江。鼎鼎大名的碧桂园总部也在碧江。金楼是明清建筑,主人曾是清朝兵部员外郎苏丕文。碧江金楼是一个统称,专指赋鹤楼。金楼位于赋鹤楼二楼。楼内
腊八粥教学反思(腊八粥含反思!)腊八粥教学反思(腊八粥含反思!)中班语言公开课教案腊八粥含反思适用于中班的语言主题教学活动当中,让幼儿认识腊八粥的材料,学习制作腊八粥,提高幼儿的生活能力,了解腊八节的来历,了解民
鼎砥论坛(鼎砥上证温度计的正确应用)鼎砥论坛(鼎砥上证温度计的正确应用)温度计的制作原理通过全息历史数据,对于正在下跌(上涨)途中的股票,一贯性的在某个位置做反弹(下跌)做了一个整体的统计,附图显示了,关于2440以
唱念做打(唱念做打身手不凡)唱念做打(唱念做打身手不凡)每年的农历六月十三是榆林市榆阳区镇川镇黑龙潭举办传统庙会的日子,而农历六月也正是陕北最炎热最干旱的季节,庙会下面无定河里的水都快干涸了,周边十里八乡的农
物质跨膜运输的实例(第一节物质跨膜运输的实例)物质跨膜运输的实例(第一节物质跨膜运输的实例)考试热点细胞的吸水和失水,植物细胞质壁分离与复原的实验。1渗透作用的原理(1)半透膜可以是具有生物活性的选择透过性膜,如膀胱膜。也可以
蓝牙的由来(蓝牙为什么叫蓝牙?)蓝牙的由来(蓝牙为什么叫蓝牙?)蓝牙是目前智能手机的标配,我们日常生活中也经常用到蓝牙,然而你对蓝牙的了解有多少?什么是蓝牙蓝牙是一种无线通讯协议的标准,用于让各种数码设备之间在短
配方英语(配方用英文怎么说)配方英语(配方用英文怎么说)我们都知道英文中菜谱叫做menu,那么配方是不是也可以叫做menu?他们都是由不同的事物所组成的,其实英文中配方有着一个专属用词,那就是formula。
亿以内数的读法(亿以内数的读法和写法)亿以内数的读法(亿以内数的读法和写法)知识点1。用虚线将数分级,先读(万)级,再读(个)级。2。万级的数,要按照个级的数的读法来读,再在后面加上一个万字。3。每级末尾不管有几个0,
鼎砥投资论坛(鼎砥上证温度计的正确应用)鼎砥投资论坛(鼎砥上证温度计的正确应用)大家好,我是鼎砥论坛的偷偷朵朵。只是鼎砥论坛里面的一个小弟。感谢创始人百年给大家灯塔一样的指路。温度计的制作原理通过全息历史数据,对于正在下
江南四友(江南四友来历不凡)江南四友(江南四友来历不凡)分享江南四友来历不凡,深得东方不败信任,一场惊天密谋成就一切原创201905171128忠肝义胆岳老三一东方不败突然发难,将深陷吸星大法反噬困扰的任我行