在Mac上安装ApacheSpark最新版本

　　在Mac上安装Apache Spark最新版本
　　在Mac（macOS）上安装最新版本的Apache Spark的只需要五个简单步骤
　　使用Homebrew在Mac OS上安装Apache Spark已经变得非常容易。你可以在短短5分钟内安装它并开始运行spark例子。有多种方法可以在Mac上安装Apache Spark。
　　下面我解释了使用Homebrew在Mac OS上逐步安装Apache Spark，验证安装，运行spark-shell，并创建一个Spark DataFrame。
　　在Mac OS上安装最新版本的Apache Spark的步骤
　　第1步 - 安装Homebrew   第2步 - 安装Java   第3步 - 安装Scala   第4步 - 安装Apache Spark最新版本   第5步 - Spart Spark shell和验证安装 1.在Mac上安装Apache Spark最新版本
　　Homebrew是一个macOS的软件包管理器，用于在Mac（macOS）上安装第三方软件包，如Java，和Apache Spark。为了使用Homebrew，首先，你需要通过使用以下命令来安装它。 # 安装 Homebrew /bin/bash -c ＂$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)＂
　　这将提示你输入管理员密码。你将需要输入你的管理员密码来运行这个命令。在个人笔记本电脑上，这与你登录Mac时输入的密码相同。如果你没有root权限，请联系你的系统管理员。在成功安装homebrew后，你应该看到类似下面这样的东西。
　　安装后，你可能需要运行下面的命令，将brew设置为你的$PATH。 # 设置path环境 echo ＂eval ＂$(/opt/homebrew/bin/brew shellenv)＂＂ >> /Users/admin/.zprofile eval ＂$(/opt/homebrew/bin/brew shellenv)＂
　　如果上述命令有问题，你可以从Homebrew找到最新的命令。 2. 安装 Java
　　Spark使用Java的底层来驱动，因此你的Mac上需要有Java。由于Java是第三方的，你可以使用Homebrew命令brew来安装它。由于Oracle Java不再是开源的了，我使用的是OpenJDK 11版本。在终端运行下面的命令来安装它。 # 安装 OpenJDK 11 brew install openjdk@113. 安装 Scala
　　由于Apache Spark是用Scala语言编写的，很明显你需要Scala来运行Spark程序。 # 安装 Scala (可选的，如果使用Java来写可以不安装Scala) brew install scala4.在Mac上安装Apache Spark
　　你也可以使用Homebrew在Mac上下载和安装Apache Spark最新版本。
　　关于Spark的一些简单介绍，Apache Spark是一个开源的分析处理引擎，用于大规模强大的分布式数据处理和机器学习应用。Spark最初是由加州大学伯克利分校开发的，后来捐赠给了Apache软件基金会。 # 安装 Apache Spark brew install apache-spark
　　这将在你的Mac操作系统上安装最新版本的Apache Spark。
　　成功安装Apache Spark最新版本后，从命令行运行spark-shell来启动Spark shell。你应该看到像下面这样的东西（暂时忽略警告）。 spark-shell是Apache Spark发布时附带的一个CLI工具
　　注意，它在终端上显示你正在使用的Spark版本和Java版本。 5. 从Shell验证Spark的安装
　　让我们用一些样本数据创建一个Spark DataFrame来验证安装。在Spark Shell中按相同的顺序输入以下命令。 import spark.implicits._ val data = Seq((＂Java＂, ＂20000＂), (＂Python＂, ＂100000＂), (＂Scala＂, ＂3000＂)) val df = data.toDF()  df.show()
　　产生以下输出。关于Apache Spark的更多例子，请参考Spark教程与实例。
　　另外，可以从浏览器打开http://localhost:4041/jobs/，以访问Spark Web UI来监控您的工作。 总结
　　本文讲解了如何使用Homebrew逐步安装Apache Spark最新版本的过程。步骤包括安装Homebrew、Java、Scala、Apache Spark，并通过运行spark-shell验证安装。
　　接下来的步骤就是愉快的编码！ 相关链接