spark streaming编程实践基础1．以随机时间间隔在一个目录下生成大量文件，文件名随机命名，文件中包含随机生成的一些英文语句，每个英语语句内部的单词之间用空格隔开。 2.实时统计每10秒新出

Spark Streaming是一个基于微批处理的数据流处理框架，它允许用户处理源源不断的实时数据流。对于您提到的基础实践：

1. 生成随机文件：
使用脚本语言如Python，可以创建一个定时任务，例如使用`os`, `random`, 和`time`模块。首先，指定一个目录作为文件存储位置，然后循环生成文件，给每个文件随机命名，并写入随机生成的英文句子。这里是一个简单的示例：

   import os
   import random
   import time
   from datetime import timedelta, datetime

   def generate_random_file(directory):
       timestamp = str(int(time.time()))
       filename = "file_" + timestamp + ".txt"
       filepath = os.path.join(directory, filename)
       with open(filepath, 'w') as f:
           content = " ".join(random.choice(['a', 'b', 'c', 'd']) for _ in range(5))  # 随机词数示例
           f.write(content)
       return filepath

   while True:
       path = generate_random_file("/path/to/directory")
       time.sleep(random.randint(1, 10))  # 每次生成文件后等待随机时间

这样每隔一段时间就会生成一个新的文件。

2. 实时统计新文件：
在Spark Streaming中，你需要读取该目录下的所有文本文件，然后对每批次的数据进行统计。你可以通过`TextFileInputDStream`来读取文件，然后分词并计算新出现的单词及其频率。以下是一个简化的伪代码示例：

   from pyspark.streaming import StreamingContext
   from pyspark.streaming.text import TextFileStream

   ssc = StreamingContext(sc, 10)  # 设置批处理间隔10秒
   lines = TextFileStream("/path/to/directory")  # 监听指定目录

   words = lines.flatMap(lambda line: line.split(' '))
   word_counts = words.countByValue()

   word_counts.pprint()  # 打印实时单词计数

   ssc.start()
   ssc.awaitTermination()

这会每10秒打印一次新的文件内容中单词的统计结果。