Hadoop生态体系学习笔记（二）HDFS搭建（1）

　　本文仅仅只是个人学习的笔记，不代表一定就是对的，仅供参考。
　　在Linux系统上搭建Hadoop平台，首先需要有安装了Linux的虚拟机或服务器，我搭建了4台，使用的是centOS7版本。
　　安装了Linux后，就要搭建基础设施了。
　　1、设置IP及主机
　　这一步是设置节点的网络与主机的名称，执行命令：
　　cd /etc/sysconfig/network-scripts/
　　然后查看ifcfg-ens(参数)，修改ifcfg-ens(参数)文件，设置＂ifcfg-ens33＂中的内容BOOTPROTO，IPDDR，NETMASK，GATEWAY，DNS1，DNS2等等内容。
　　BOOTPROTO=＂static＂
　　IPADDR为要设置的ip地址
　　2、关闭防火墙&selinux
　　查看防火墙状态
　　firewall-cmd --state
　　CentOS7关闭防火墙
　　systemctl stop firewalld.service
　　开机后不会启动防火墙
　　systemctl disable firewalld.service
　　3、设置hosts映射
　　cd /etc
　　配置hosts文件，设置网络通信
　　vi hosts
　　添加内容为：
　　ip地址 主机名
　　例如ip地址为000.000.000.000，主机名为node00。
　　ip地址为000.000.000.001，主机名为node01。
　　那么在hosts文件中要加入的内容为：000.000.000.000 node00
　　000.000.000.001 node01
　　每一台机器的ip地址都要写入hosts文件中。
　　4、时间同步
　　执行以下命令：
　　yum install ntp -y
　　然后修改ntp.conf文件
　　vi /etc/ntp.conf
　　在ntp.conf文件中的server0前面添加一行
　　server ntp1.aliyun.com
　　开启时间同步服务
　　service ntpd start
　　chkconfig ntpd on
　　5、安装jdk
　　使用Xftp上传jdk，使用rpm安装包的方式
　　解压安装jdk，执行命令：
　　rpm -i jdk-8u181-linux-x64.rpm
　　然后配置java的环境变量
　　vi /etc/profile
　　然后到最后一行，按大写的O，新开一行，写： export JAVA_HOME=/usr/java/default
　　export PATH=$PATH:$JAVA_HOME/bin
　　写完之后保存加载一下profile文件
　　source /etc/profile
　　将node01的jdk分发到其余虚拟机上
　　scp ./jdk-8u181-linux-x64.rpm node02:/root/
　　scp ./jdk-8u181-linux-x64.rpm node03:/root/
　　scp ./jdk-8u181-linux-x64.rpm node04:/root/
　　然后修改node02、node03、node04的etc下的profile文件
　　6、设置SSH免秘钥
　　输入命令：
　　ssh localhost
　　可以验证当前节点有没有免密，还可以生成 /root/.ssh 目录
　　然后生成秘钥和公钥
　　生成秘钥和公钥的命令：
　　ssh-keygen -t dsa -P ＂＂ -f ~/.ssh/id_dsa
　　ssh-ketgen -t
　　dsa：加密方式
　　P ＂＂：密码为空
　　-f ~/.ssh/id_dsa：把生成的秘钥与公钥文件放在.ssh目录下，命名为id_dsa
　　这样一来，会生成id_dsa和id_dsa.pub文件。
　　想要免密登录谁，就要把自己的公钥放到对方的authorized_keys文件中。
　　比如 node01想要免密登录node02，那么就要将node01的公钥放到node02的authorized_keys文件中。
　　也就是说，node01执行：
　　ssh-keygen -t dsa -P ＂＂ -f ~/.ssh/id_dsa
　　而node02执行：
　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　执行命令：
　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　使用＂>>＂将id_dsa.pub的内容追加到authorized_keys中，当authorized_keys文件不存在时，它会自动创建这个文件。
　　Hadoop完全分布式的ssh免密
　　节点node01到node04
　　所有节点执行命令：
　　ssh localhost
　　使得所有节点都生成＂.ssh＂文件
　　然后节点：node01执行命令：
　　scp id_dsa.pub node02:/root/.ssh/node01.pub
　　scp id_dsa.pub node03:/root/.ssh/node01.pub
　　scp id_dsa.pub node04:/root/.ssh/node01.pub
　　节点：node02到node04执行命令：
　　cd ~/.ssh
　　cat node01.pub >> authorized_keys
　　这样node01就可以免密登录node02，node03，node04了。
　　参考文献：
　　[1]MCA课程：https://www.mashibing.com/subject/1