大数据之Spark搭建与使用

　　一、搭建1、解压tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module cd /opt/module  mv spark-3.0.0-bin-hadoop3.2 spark-local2、local环境bin/spark-shell
　　http://bigdata:4040 1、本地提交作业bin/spark-submit  --class org.apache.spark.examples.SparkPi  --master local[2]  ./examples/jars/spark-examples_2.12-3.0.0.jar  103、Standalone环境1、 修改slaves.template文件名为slavesbigdata2、修改spark-env.sh.template文件名为spark-env.shexport JAVA_HOME=/opt/module/jdk1.8.0_212 SPARK_MASTER_HOST=bigdata SPARK_MASTER_PORT=70773、启动集群sbin/start-all.sh4、查看UI界面
　　http://bigdata:8080 5、提交作业bin/spark-submit  --class org.apache.spark.examples.SparkPi  --master spark://bigdata:7077  ./examples/jars/spark-examples_2.12-3.0.0.jar  106、配置历史服务
　　1) 修改spark-defaults.conf.template文件名为spark-defaults.conf mv spark-defaults.conf.template spark-defaults.conf
　　2) 修改spark-default.conf文件，配置日志存储路径 spark.eventLog.enabled     true spark.eventLog.dir        hdfs://linux1:8020/directory
　　注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。 sbin/start-dfs.sh  hadoop fs -mkdir /directory
　　3) 修改spark-env.sh文件, 添加日志配置 export SPARK_HISTORY_OPTS=＂  -Dspark.history.ui.port=18080   -Dspark.history.fs.logDirectory=hdfs://linux1:8020/directory   -Dspark.history.retainedApplications=30＂
　　4）启动集群和历史服务 sbin/start-all.sh sbin/start-history-server.sh
　　5）提交任务 bin/spark-submit  --class org.apache.spark.examples.SparkPi  --master spark://bigdata:7077  ./examples/jars/spark-examples_2.12-3.0.0.jar  10
　　6) 查看历史服务：http://bigdata:18080
　　7) 配置高可用
　　条件：停止spark和启动zk vim park-env.sh 注释如下内容： #SPARK_MASTER_HOST=bigdata #SPARK_MASTER_PORT=7077  添加如下内容: #Master监控页面默认访问端口为8080，但是可能会和Zookeeper冲突，所以改成8989，也可以自定义，访问UI监控页面时请注意 SPARK_MASTER_WEBUI_PORT=8989  export SPARK_DAEMON_JAVA_OPTS=＂ -Dspark.deploy.recoveryMode=ZOOKEEPER  -Dspark.deploy.zookeeper.url=bigdata  -Dspark.deploy.zookeeper.dir=/spark＂
　　再启动集群 sbin/start-all.sh  sbin/start-master.sh
　　提交job bin/spark-submit  --class org.apache.spark.examples.SparkPi  --master spark://bigdata:7077  ./examples/jars/spark-examples_2.12-3.0.0.jar  104、yarn模式1、修改yarn-site.xml       yarn.nodemanager.pmem-check-enabled      false          yarn.nodemanager.vmem-check-enabled      false 2、修改spark-env.shcd /opt/module/spark-local/conf mv spark-env.sh.template spark-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_212 YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop3、启动hdfs和yarn集群4、提交jobbin/spark-submit  --class org.apache.spark.examples.SparkPi  --master yarn  --deploy-mode cluster  ./examples/jars/spark-examples_2.12-3.0.0.jar  105、配置历史服务器cp spark-defaults.conf.template spark-defaults.conf spark.eventLog.enabled          true spark.eventLog.dir               hdfs://bigdata:9820/spark-directory
　　注意：需要启动hadoop集群，HDFS上的目录需要提前存在。  hadoop fs -mkdir /spark-directory6、 修改spark-env.sh文件, 添加日志配置export SPARK_HISTORY_OPTS=＂ -Dspark.history.ui.port=18080  -Dspark.history.fs.logDirectory=hdfs://bigdata:9820/spark-directory -Dspark.history.retainedApplications=30＂7、修改spark-defaults.confspark.yarn.historyServer.address=bigdata:18080 spark.history.ui.port=180808、重新提交jobbin/spark-submit  --class org.apache.spark.examples.SparkPi  --master yarn  --deploy-mode client  ./examples/jars/spark-examples_2.12-3.0.0.jar  109、页面查看bigdata:808810、配置高可用vim /opt/module/spark-local/conf/spark-env.shSPARK_MASTER_WEBUI_PORT=8989 export SPARK_DAEMON_JAVA_OPTS=＂ -Dspark.deploy.recoveryMode=ZOOKEEPER  -Dspark.deploy.zookeeper.url=bigdata  -Dspark.deploy.zookeeper.dir=/spark＂cp slaves.template slaves vim slaves bigdata
　　注意：启动spark前，先启动zk，hdfs和yarn 5、启动脚本vim  /home/bigdata/bin/mysparkservices.sh#!/bin/bash if [ $# -lt 1 ] then    echo ＂Input Args Error.....＂   exit fi for i in bigdata do  case $1 in start)   echo ＂==================START $i Spark集群===================＂   ssh $i /opt/module/spark-local/sbin/start-all.sh   echo ＂==================START $i Spark历史服务器===================＂   ssh $i /opt/module/spark-local/sbin/start-history-server.sh    echo ＂==================START $i Spark的thriftserver的hive2===================＂   ssh $i /opt/module/spark-local/sbin/start-thriftserver.sh ;; stop)   echo ＂==================STOP $i Spark集群===================＂   ssh $i /opt/module/spark-local/sbin/stop-all.sh   echo ＂==================STOP $i Spark历史服务器===================＂   ssh $i /opt/module/spark-local/sbin/stop-history-server.sh   echo ＂==================STOP $i Spark的thriftserver的hive2===================＂   ssh $i /opt/module/spark-local/sbin/stop-thriftserver.sh ;;  *)  echo ＂Input Args Error.....＂  exit ;;   esac  done#授权 chmod +x mysparkservices.sh #启动 sh mysparkservices.sh start #关闭 sh mysparkservices.sh stop6、hive on saprk1、环境准备启动hive metastore hive  --service  metastore 2 >&1 >> /opt/module/hive/logs/metastore.log & 启动spark thriftserver注意：相当于启动hive2 sh /opt/module/spark-local/sbin/start-thriftserver.sh  2、搭建1、复制hive-site.xml到Spark的conf目录cp /opt/module/hive/conf/hive-site.xml  /opt/module/spark-local/conf 编辑Spark的conf目录下的hive-site.xml配置文件，开启动态分区 vim /opt/module/spark-local/conf/hive-site.xml   增加以下属性      hive.exec.dynamic.partition.mode     nonstrict 2、在/opt/module/spark/jars目录下增加mysql驱动和lzo依赖cp /opt/module/hive/lib/mysql-connector-java-5.1.37.jar  cp /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar /opt/module/spark/jars/3、配置spark-default.conf#指定Spark master为yarn spark.master=yarn #是否记录Spark任务日志 spark.eventLog.enabled=true #Spark任务日志的存储路径 spark.eventLog.dir=hdfs://bigdata:9820/spark_historylog #Spark历史服务器地址 spark.yarn.historyServer.address=bigdata:18080 #Spark历史服务器读取历史任务日志的路径 spark.history.fs.logDirectory=hdfs://bigdata:9820/spark_historylog #开启Spark-sql自适应优化 spark.sql.adaptive.enabled=true #开启Spark-sql中Reduce阶段分区数自适应 spark.sql.adaptive.coalescePartitions.enabled=true #使用Hive提供的Parquet文件的序列化和反序列化工具，以兼容Hive spark.sql.hive.convertMetastoreParquet=false #使用老版的Parquet文件格式，以兼容Hive spark.sql.parquet.writeLegacyFormat=true #解决SPARK-21725问题 spark.hadoop.fs.hdfs.impl.disable.cache=true #降低Spark-sql中类型检查级别，兼容Hive spark.sql.storeAssignmentPolicy=LEGACY4、配置spark-env.shYARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop5、增加ApplicationMaster资源比例vim /opt/module/hadoop-3.1.3/etc/hadoop/capacity-scheduler.xml      yarn.scheduler.capacity.maximum-am-resource-percent     0.8 

人人都是老中医，左点砭石刮痧仪分享随着人们生活水平的提高，大家对自己的身体保养越来越重视。在众多养生之法中当属中医的刮痧和拔罐最为常见，笔者只接触过刮痧，那滋味不是一般的酸爽！传统的刮痧很讲究手法力度器材，一般人难亚健康人的福音，左点小艾2智能无线艾灸盒现在社会生活工作压力大，很多年轻人或多或少患有些小毛病，比如说我，我是严重的湿热型体质，到了夏季尤为严重，四肢乏力大便次数多容易长痘微胖（吃的不多），已经严重影响到我的工作和生活，女神有了它牙齿更健康，罗曼Smart1电动牙刷牙刷可以说是人人都需要的刚需品，每天早晚刷牙已经成为人们的生活习惯，但是你对牙刷的历史又了解多少呢？随着科技的不断进步，我们在选择牙刷又要注意什么呢？2000多年前，古人就懂得如何OPPOK3和荣耀9X怎么选？大内存也重要7月荣耀9X的出现，再次让国产千元机市场掀起一阵热潮。该机主打真全面屏超长续航，售价1399元起看似具备着较高的性价比。而面对上半年热门机OPPOK3，晚发布的荣耀9X是否更值得入红与黑恒大汽车募集260亿港元1月25日，恒大汽车（0708。HK）股价飙涨，涨幅一度超65。截至收盘时，恒大汽车涨幅49。83，报44。8港元股，市值涨至3998。32亿港元。就在50天前，即去年12月3日，充电桩里面的大生意，全国充电桩总量达168。1万台1月13日，中国电动汽车充电基础设施促进联盟（以下简称充电联盟）发布2020年电动汽车充换电基础设施运行情况，2020年全年，充电基础设施增量为46。2万台，公共充电基础设施增量同挑战不息吉利星瑞颠覆者行动在继续中国家轿的颠覆者，不止于一句口号。对于吉利来说，这个荣耀不属于拥有300万用户基数的帝豪，也不属于其旗舰轿车博瑞，而是基于CMA架构的全新车型星瑞PREFACE。正如其在新车上市时CRV插混版上市本田中国混动升级登顶合资SUV销量王后，CRV迎来插电式混合动力车型2月2日，CRV锐混动e（插混版）正式上市，百公里综合油耗1。3L，较锐混动车型的4。9L实现跨越式提升。CRV锐混动e补贴后指中国最畅销车型出炉，一起来看看都有谁？下下2020最新版的中国畅销车型榜揭晓，一起来看看都有哪些车型上榜？轿车轩逸夺冠随着新平台新车型的加入，轿车细分市场悄然发生变化。轩逸超过朗逸成为年度轿车类销量冠军。其中，轩逸的终名爵领衔，中国汽车在澳洲焕发生机据澳洲联邦汽车工业商会（FCAI）公布的数据，今年1月中国品牌汽车在澳洲的新车销量为4，198辆，较去年同比增长156。在当地排名第四，首次超过超过德系的3078辆和美系的2056威固品牌重塑之年，斩获金触点全球商业创新大奖等两项行业大奖近日，全球特种材料公司伊士曼旗下汽车膜品牌威固（VKOOL），凭借品牌战略重塑的不凡表现，夺得金触点2020全球商业创新大奖整合营销类铜奖。作为亚太地区具有权威性和影响力的商业与营
<<<<<<－>>>>>>