在Mac上安装ApacheSpark最新版本

　　在Mac上安装ApacheSpark最新版本
　　在Mac（macOS）上安装最新版本的ApacheSpark的只需要五个简单步骤
　　使用Homebrew在MacOS上安装ApacheSpark已经变得非常容易。你可以在短短5分钟内安装它并开始运行spark例子。有多种方法可以在Mac上安装ApacheSpark。
　　下面我解释了使用Homebrew在MacOS上逐步安装ApacheSpark，验证安装，运行sparkshell，并创建一个SparkDataFrame。
　　在MacOS上安装最新版本的ApacheSpark的步骤
　　第1步安装Homebrew第2步安装Java第3步安装Scala第4步安装ApacheSpark最新版本第5步SpartSparkshell和验证安装1。在Mac上安装ApacheSpark最新版本
　　Homebrew是一个macOS的软件包管理器，用于在Mac（macOS）上安装第三方软件包，如Java，和ApacheSpark。为了使用Homebrew，首先，你需要通过使用以下命令来安装它。安装Homebrewbinbashc（curlfsSLhttps：raw。githubusercontent。comHomebrewinstallHEADinstall。sh）
　　这将提示你输入管理员密码。你将需要输入你的管理员密码来运行这个命令。在个人笔记本电脑上，这与你登录Mac时输入的密码相同。如果你没有root权限，请联系你的系统管理员。在成功安装homebrew后，你应该看到类似下面这样的东西。
　　安装后，你可能需要运行下面的命令，将brew设置为你的PATH。设置path环境echoeval（opthomebrewbinbrewshellenv）Usersadmin。zprofileeval（opthomebrewbinbrewshellenv）
　　如果上述命令有问题，你可以从Homebrew找到最新的命令。2。安装Java
　　Spark使用Java的底层来驱动，因此你的Mac上需要有Java。由于Java是第三方的，你可以使用Homebrew命令brew来安装它。由于OracleJava不再是开源的了，我使用的是OpenJDK11版本。在终端运行下面的命令来安装它。安装OpenJDK11brewinstallopenjdk113。安装Scala
　　由于ApacheSpark是用Scala语言编写的，很明显你需要Scala来运行Spark程序。安装Scala（可选的，如果使用Java来写可以不安装Scala）brewinstallscala4。在Mac上安装ApacheSpark
　　你也可以使用Homebrew在Mac上下载和安装ApacheSpark最新版本。
　　关于Spark的一些简单介绍，ApacheSpark是一个开源的分析处理引擎，用于大规模强大的分布式数据处理和机器学习应用。Spark最初是由加州大学伯克利分校开发的，后来捐赠给了Apache软件基金会。安装ApacheSparkbrewinstallapachespark
　　这将在你的Mac操作系统上安装最新版本的ApacheSpark。
　　成功安装ApacheSpark最新版本后，从命令行运行sparkshell来启动Sparkshell。你应该看到像下面这样的东西（暂时忽略警告）。sparkshell是ApacheSpark发布时附带的一个CLI工具
　　注意，它在终端上显示你正在使用的Spark版本和Java版本。5。从Shell验证Spark的安装
　　让我们用一些样本数据创建一个SparkDataFrame来验证安装。在SparkShell中按相同的顺序输入以下命令。importspark。implicits。valdataSeq（（Java，20000），（Python，100000），（Scala，3000））valdfdata。toDF（）df。show（）
　　产生以下输出。关于ApacheSpark的更多例子，请参考Spark教程与实例。
　　另外，可以从浏览器打开http：localhost：4041jobs，以访问SparkWebUI来监控您的工作。总结
　　本文讲解了如何使用Homebrew逐步安装ApacheSpark最新版本的过程。步骤包括安装Homebrew、Java、Scala、ApacheSpark，并通过运行sparkshell验证安装。
　　接下来的步骤就是愉快的编码！相关链接