大数据通过docker创建Hadoop个人开发学习环境
导语
大数据集成环境是非常博杂的,快速创建集成环境对于个人开发学习会比较友好,cdh虽然已经慢慢进入历史阶段了,不过对于个人开发者来说其产品是非常友好的。本文描述如何基于docker构建cdh5的大数据集成开发环境。部署过程
安装过旧版本的Docker,可以使用下面命令卸载yumremovedockerdockerclientdockerclientlatestdockercommondockerlatestdockerlatestlogrotatedockerlogrotatedockerselinuxdockerengineselinuxdockerenginedockerce
安装yum工具yuminstallyyumutilsdevicemapperpersistentdatalvm2skipbroken
设置docker镜像源
更新阿里源,否则能慢出树懒的感觉yumconfigmanageraddrepohttps:mirrors。aliyun。comdockercelinuxcentosdockerce。repoyummakecachefast
安装dockeryuminstallydockerce
安装cdh5imagedockerpullclouderaquickstart
启动容器dockerrunidthostnamequickstart。clouderaprivilegedtruep8020:8020p7180:7180p21050:21050p50070:50070p50075:50075p50010:50010p50020:50020p8890:8890p60010:60010p10002:10002p25010:25010p25020:25020p18088:18088p8088:8088p19888:19888p7187:7187p11000:11000p8888:8888namecdhdevclouderaquickstartusrbindockerquickstart
进入容器dockerexecitcdhdevbash
启动ClouderaManagerhomeclouderaclouderamanagerenterpriseservicentpdstart
startcm
查看管理页面
cm结语
cloudera的时代过去了,不过它的确是一款非常优秀的大数据集成平台。