Windows下安装ScalaHadoopSpark运行环境

　　一、前言
　　近几年大数据是异常的火爆，今天小编以java开发的身份来会会大数据，提高一下自己的层面！
　　大数据技术也是有很多：HadoopSparkFlink
　　小编也只知道这些了，由于Hadoop，存在一定的缺陷（循环迭代式数据流处理：多
　　并行运行的数据可复用场景效率不行）。所以Spark出来了，一匹黑马，8个月的时间从加入Apache，直接成为顶级项目！！
　　选择Spark的主要原因是：
　　Spark和Hadoop的根本差异是多个作业之间的数据通信问题：Spark多个作业之间数据
　　通信是基于内存，而Hadoop是基于磁盘。二、Spark介绍
　　官网地址：https：spark。apache。org
　　Spark是用于大规模数据处理的统一分析引擎。它提供了Scala、Java、Python和R中的高级API，以及支持用于数据分析的通用计算图的优化引擎。它还支持一组丰富的高级工具，包括用于SQL和DataFrames的SparkSQL、用于Pandas工作负载的Spark上的PandasAPI、用于机器学习的MLlib、用于图形处理的GraphX和用于流处理的结构化流。
　　spark是使用Scala语言开发的，所以使用Scala更好！！三、下载安装1。Scala下载
　　Scala官网：https：www。scalalang。org
　　点击安装
　　在这里插入图片描述
　　下载自己需要的版本
　　在这里插入图片描述
　　点击自己需要的版本：小编这里下载的是2。12。11
　　点击下载Windows二进制：
　　在这里插入图片描述
　　慢的话可以使用迅雷下载！2。安装
　　安装就是下一步下一步，记住安装目录不要有空格，不然会报错的！！！3。测试安装
　　winR输入cmd：
　　输入：scala
　　必须要有JDK环境哈，这个学大数据基本都有哈！！
　　在这里插入图片描述4。Hadoop下载
　　一个小技巧：
　　Hadoop和Spark版本需要一致，我们先去看看spark，他上面名字就带着和他配套的Hadoop版本！！
　　spark3。0对照：https：archive。apache。orgdistsparkspark3。0。0
　　在这里插入图片描述
　　得出我们下载Hadoop的版本为：3。2
　　Hadoop下载地址：https：archive。apache。orgdisthadoopcommon
　　在这里插入图片描述5。解压配置环境
　　解压到即可使用，为了使用方便，要像jdk一样配置一下环境变量！
　　新建HADOOPHOME
　　值为安装目录：D：softwarehadoop3。2。1
　　在Path里添加：HADOOPHOMEbin
　　cmd输入：hadoop：提示系统找不到指定的路径。Error：JAVAHOMEisincorrectlyset。
　　这里先不用管，咱们只需要Hadoop的环境即可！6。下载Spark
　　Spark官网：https：spark。apache。org
　　点击找到历史版本：
　　在这里插入图片描述
　　点击下载：
　　在这里插入图片描述7。解压环境配置
　　新建：SPARKHOME：D：sparkspark3。3。1binhadoop3
　　Path添加：SPARKHOMEbin8。测试安装
　　winR输入cmd：
　　输入：sparkshell
　　在这里插入图片描述
　　四、集成Idea1。下载插件scala
　　在这里插入图片描述2。给项目添加GlobalLibraries
　　打开配置：
　　在这里插入图片描述
　　新增SDK
　　在这里插入图片描述
　　下载你需要的版本：小编这里是：2。12。11
　　在这里插入图片描述
　　右击项目，添加上scala：
　　在这里插入图片描述
　　3。导入依赖dependencygroupIdorg。apache。sparkgroupIdsparkcore2。12artifactIdversion3。0。0versiondependency
　　4。第一个程序
　　在这里插入图片描述
　　在这里插入图片描述objectTest｛defmain（args：Array〔String〕）：Unit｛println（hello）varsparkConfnewSparkConf（）。setMaster（local）。setAppName（WordCount）；varscnewSparkContext（sparkConf）；sc。stop（）；｝｝
　　5。测试bug1UsingSparksdefaultlog4jprofile：orgapachesparklog4jdefaults。properties22103116：20：35INFOSparkContext：RunningSparkversion3。0。022103116：20：35ERRORShell：Failedtolocatethewinutilsbinaryinthehadoopbinarypathjava。io。IOException：CouldnotlocateexecutableD：softwarehadoop3。2。1binwinutils。exeintheHadoopbinaries。
　　在这里插入图片描述
　　原因就是缺少：winutils
　　下载地址：https：github。comcdarlintwinutils
　　在这里插入图片描述
　　把它发放Hadoop的bin目录下：
　　在这里插入图片描述6。测试bug2
　　这个没办法复现，拔得网上的记录：UsingSparksdefaultlog4jprofile：orgapachesparklog4jdefaults。properties22100821：02：10INFOSparkContext：RunningSparkversion3。0。022100821：02：10ERRORSparkContext：ErrorinitializingSparkContext。org。apache。spark。SparkException：AmasterURLmustbesetinyourconfigurationatorg。apache。spark。SparkContext。init（SparkContext。scala：380）atorg。apache。spark。SparkContext。init（SparkContext。scala：120）attest。wyh。wordcount。TestWordCount。main（TestWordCount。scala：10）attest。wyh。wordcount。TestWordCount。main（TestWordCount。scala）
　　就是这句：AmasterURLmustbesetinyourconfiguration
　　解决方案：
　　就是没有用到本地的地址
　　右击项目：
　　在这里插入图片描述
　　没有环境就添加上：
　　在这里插入图片描述
　　添加上：Dspark。masterlocal
　　在这里插入图片描述7。测试完成
　　没有error，完美！！
　　在这里插入图片描述五、总结
　　这样就完成了，历尽千辛万苦，终于成功。第一次结束差点劝退，发现自己对这个东西还是不懂，后面再慢慢补Scala。先上手感受，然后再深度学习！！
　　如果对你有用，还请点赞关注下，支持一下一直是小编写作的动力！！
　　可以看下一小编的微信公众号，和网站文章首发看，欢迎关注，一起交流哈！！