2021年新版本：安装Spark与Flink至CentOS虚拟机并配置网络

本篇文档详细介绍了如何在2021年10月2日更新的软件环境中，通过安装VMware虚拟机并配置CentOS操作系统来搭建一个Spark-NoSQL-Flink1的集群环境。以下是关键步骤和知识点： 1. **安装VMware虚拟机**：首先，用户需要在本地计算机上安装VMware虚拟机软件，并按照常规流程创建一个新的虚拟机实例，选择合适的硬件配置和操作系统类型。 2. **配置网络**：在虚拟机内部，设置了网关以确保网络通信的正常进行。这包括修改Windows主机的网卡信息，以便虚拟机能访问外部网络，以及在CentOS中设置网络配置文件`/etc/sysconfig/network-scripts/ifcfg-ens32`，并重启网卡服务加载新配置。 3. **部署Linux集群**：为了实现单台Linux集群，首先关闭CentOS的防火墙，通过`systemctl stop firewalld`和`systemctldisablefirewalld`命令确保安全规则不会阻碍集群通信。同时，为了简化管理，SELinux被关闭，因为它是Linux的强制安全模块，可能需要繁琐配置，而在此环境下并不必要。 4. **SELinux介绍与管理**：SELinux（Security-Enhanced Linux）是Linux系统中用于增强安全性的子系统，它在基本的文件权限控制之上添加了对进程的访问控制。在学习阶段或非生产环境中，出于简化配置考虑，通常关闭SELinux以降低管理复杂性。 5. **JDK安装**：JDK（Java Development Kit）是Java开发的基础，文档中提到的是一个绿色版的JDK安装包，用户将其上传到CentOS虚拟机的`/export/software`目录，然后解压到`/export/server`目录，并配置环境变量，以便在后续的Spark和Flink环境中使用。 6. **目录创建与文件操作**：在虚拟机中，用户创建了两个目录，这些目录可能是为了存放项目文件、依赖库或其他资源。通过文本编辑器（如Nodepad++）修改Linux文件，体现了对系统底层操作的熟悉。 7. **集群准备工作**：完成上述步骤后，虚拟机上的环境已准备好部署Spark-NoSQL-Flink1集群，包括必要的软件安装和配置，以及网络和安全设置的优化。 通过这篇文档，读者可以了解到如何在一个全新的软件安装环境中，从基础的虚拟机配置到高级的系统安全设置，为Spark-NoSQL-Flink1的部署打下坚实基础。这对于开发人员和系统管理员来说是一份宝贵的实践指南。