var locs = List("China","United States","European Union","Russia","Japan","United Kingdom","Singapore") //(重点国家)新增病例/死亡数量 for(loc <- locs){ spark.sql("select new_cases from data where location='"+loc+"'") .write.json("/dbcovid/result/new_cases/"+loc+"/") spark.sql("select new_deaths from data where location='"+loc+"'") .write.json("/dbcovid/result/new_deaths/"+loc+"/") }报错路径已存在
时间: 2023-07-08 10:31:19 浏览: 42
这个错误是因为你的程序试图将结果写入已经存在的文件夹中。你可以尝试在写入文件夹之前检查文件夹是否存在,如果存在,则删除它。在Scala中,你可以使用以下代码来实现它:
```
import java.io.File
val folder = new File("/dbcovid/result/new_cases/"+loc+"/")
if (folder.exists()) {
val files = folder.listFiles()
files.foreach(f => f.delete())
folder.delete()
}
```
这段代码将检查文件夹是否存在,如果存在,则删除文件夹中的所有文件,然后删除文件夹本身。你可以在写入数据之前调用这个代码,以确保文件夹不存在。
相关问题
麻烦你记住以下程序# 定义重点国家/地区 locs = ["China", "United States", "European Union", "Russia", "Japan", "United Kingdom", "Singapore"] # 设置要查找的文件夹路径 folder_path = 'C:/dbcovid/result/new_cases/' # 重点国家新增病例数量 all_data = [] #数据导入 for loc in locs: # 查找文件夹中所有的 .json 文件 json_files = glob.glob(folder_path +loc+ '/*.json') # 如果找到了至少一个 .json 文件 if json_files: # 选择第一个文件进行读取 json_file = json_files[0] tmp = pd.read_json(json_file, lines=True).values.squeeze() # turn to NumPy type # 在这里对读取到的数据进行处理 else: # 如果没有找到 .json 文件 print('No .json file found in the folder.') path = "C:/dbcovid/result/new_cases/China/part-00000-52417ca0-fbcb-4866-b14f-90e3f9fc939e-c000.json" all_data.append(tmp) all_data = np.array( [ list(i) + [float("nan")] * (max([len(j) for j in all_data]) - len(i)) for i in all_data ] ) #数据空值处理 for tmp in all_data: if np.isnan(tmp[0]): tmp[0] = 0 for i in range(len(tmp) - 1): if np.isnan(tmp[i + 1]): tmp[i + 1] = tmp[i] #数据平滑 for i in range(len(all_data)): all_data[i] = gaussian_filter1d(all_data[i], sigma=2.5) #保存为dataframe df = pd.DataFrame(all_data).transpose() df.columns = locs #绘图 plt.figure(figsize=(12, 8)) plt.xlabel('Days') plt.ylabel('Number of new cases') sns.lineplot(data=df, dashes=False) plt.show()
好的,以下是你提供的程序:
```python
# 定义重点国家/地区
locs = ["China", "United States", "European Union", "Russia", "Japan", "United Kingdom", "Singapore"]
# 设置要查找的文件夹路径
folder_path = 'C:/dbcovid/result/new_cases/'
# 重点国家新增病例数量
all_data = []
#数据导入
for loc in locs:
# 查找文件夹中所有的 .json 文件
json_files = glob.glob(folder_path +loc+ '/*.json')
# 如果找到了至少一个 .json 文件
if json_files:
# 选择第一个文件进行读取
json_file = json_files[0]
tmp = pd.read_json(json_file, lines=True).values.squeeze() # turn to NumPy type
# 在这里对读取到的数据进行处理
else:
# 如果没有找到 .json 文件
print('No .json file found in the folder.')
path = "C:/dbcovid/result/new_cases/China/part-00000-52417ca0-fbcb-4866-b14f-90e3f9fc939e-c000.json"
all_data.append(tmp)
all_data = np.array(
[
list(i) + [float("nan")] * (max([len(j) for j in all_data]) - len(i))
for i in all_data
]
)
#数据空值处理
for tmp in all_data:
if np.isnan(tmp[0]):
tmp[0] = 0
for i in range(len(tmp) - 1):
if np.isnan(tmp[i + 1]):
tmp[i + 1] = tmp[i]
#数据平滑
for i in range(len(all_data)):
all_data[i] = gaussian_filter1d(all_data[i], sigma=2.5)
#保存为dataframe
df = pd.DataFrame(all_data).transpose()
df.columns = locs
#绘图
plt.figure(figsize=(12, 8))
plt.xlabel('Days')
plt.ylabel('Number of new cases')
sns.lineplot(data=df, dashes=False)
plt.show()
```
请注意,这个程序需要一些额外的依赖库(如 pandas、numpy、matplotlib 和 seaborn),如果你要在自己的电脑上运行它,需要先安装这些库。
解释locs = self.ax1.get_xticks()
这是一行 Python 代码,其中 `self.ax1` 是一个 Matplotlib 的 subplot 对象。`get_xticks()` 是 subplot 对象的一个方法,用于获取当前 x 轴的刻度位置。这个方法返回一个包含当前 x 轴刻度位置的列表 `locs`。通常,我们可以在获取这个列表之后对它进行一些操作,比如修改刻度位置或者设置刻度标签。