Spark读取文件系统的数据 （实验环境下）编写独立应用程序，读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；通过 spark-submit 提交到 Spark 中运行程序。

在Spark环境中，如果你想要编写一个独立的应用程序来读取HDFS（Hadoop分布式文件系统）的数据，你可以按照以下步骤操作：

1. **设置环境**：
首先，确保你已经安装了Apache Spark，并配置了与Hadoop集成。这通常需要在`spark-env.sh`中设置HADOOP_HOME路径。

2. **编写Python程序**（假设你是用Python为例）：
使用PySpark库，你可以这样编写代码：

from pyspark.sql import SparkSession

def count_lines():
    # 创建SparkSession
    spark = SparkSession.builder.appName('HDFSFileCount').getOrCreate()

    # 指定HDFS文件路径
    hdfs_path = "/user/hadoop/test.txt"

    try:
        # 如果文件不存在，创建函数可能会抛出异常，这里我们捕获并处理它
        with spark.read.text(hdfs_path) as lines:
            num_lines = len(lines.rdd)
            print(f"Number of lines in the file: {num_lines}")
    except FileNotFoundError:
        print("File not found. Please create the file first.")

    spark.stop()  # 程序结束后关闭SparkSession

if __name__ == "__main__":
    count_lines()

3. **提交到Spark集群**：
使用`spark-submit`命令来提交应用程序，比如：

spark-submit --master yarn-cluster --deploy-mode client your_script.py

这里的参数需替换为你实际的Spark部署模式和集群信息。

4. **注意文件权限**：
在运行前确认你的Spark用户对HDFS文件有适当的读取权限。