hdfs将本地的text文件转为parquet写入hdfs

可以使用Apache Spark来实现将本地的text文件转为parquet并写入HDFS中。具体步骤如下：

1. 创建SparkSession对象

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("Text to Parquet") \
    .master("local[*]") \
    .getOrCreate()

2. 读取本地的text文件数据

df = spark.read.text("file://path/to/local/text/file")

3. 对数据进行转换和处理

这里可以根据需要对数据进行一些转换和处理，例如对每行文本进行分词、去除停用词等操作。

from pyspark.ml.feature import Tokenizer, StopWordsRemover

tokenizer = Tokenizer(inputCol="value", outputCol="words")
df = tokenizer.transform(df)

stopword_remover = StopWordsRemover(inputCol="words", outputCol="filtered_words")
df = stopword_remover.transform(df)

4. 将数据转为parquet格式并写入HDFS中

df.write.parquet("hdfs://namenode:9000/path/to/output/parquet/file")

注意，在将数据写入HDFS中时，需要指定Hadoop的配置信息，例如namenode的地址、端口号等。如果没有配置Hadoop的环境变量，还需要在代码中手动设置相关配置信息，例如：

spark.conf.set("spark.hadoop.fs.defaultFS", "hdfs://namenode:9000")
spark.conf.set("spark.hadoop.yarn.resourcemanager.address", "resourcemanager:8032")

完整的代码示例：

from pyspark.sql import SparkSession
from pyspark.ml.feature import Tokenizer, StopWordsRemover

spark = SparkSession.builder \
    .appName("Text to Parquet") \
    .master("local[*]") \
    .getOrCreate()

# 读取本地的text文件数据
df = spark.read.text("file://path/to/local/text/file")

# 对数据进行转换和处理
tokenizer = Tokenizer(inputCol="value", outputCol="words")
df = tokenizer.transform(df)

stopword_remover = StopWordsRemover(inputCol="words", outputCol="filtered_words")
df = stopword_remover.transform(df)

# 将数据转为parquet格式并写入HDFS中
spark.conf.set("spark.hadoop.fs.defaultFS", "hdfs://namenode:9000")
spark.conf.set("spark.hadoop.yarn.resourcemanager.address", "resourcemanager:8032")
df.write.parquet("hdfs://namenode:9000/path/to/output/parquet/file")

spark.stop()