用def函数写出python代码,有注释。用argparse,pandas。功能是能在任何文件夹读取Log并选择分类进行绘图。具体如下: 1.读取log,当读取到最后一次出现"My name is kitty"时,从下一行开始读 2.删除所有重复的行,只留第一行 3.逐行写入csv 4.第1行按照正则规则1提取单词,然后分列,分列后才知道有多少列,分列符号也不知道有几个空格。 5.从第2行开始按照正则规则2分列后,才知道有多少列,分列符号也不知道有几个空格。 6.读取CSV文件Output 7.把标题行分为4类,第一类是标题为ABC,DFG,TBC,DHHG,lop,kki的6列,第二类是CAT开头的几列,第三类是DOG开头的几列,第四类是Fish和food开头的几列 8.把4类标题画成4个曲线图,在一张画布上,标注每条线的标题 9.筛选器功能。
时间: 2024-03-10 16:47:52 浏览: 75
python实现读取文件夹下所有excel文件内容上传MySQL数据库,并附带生成log文件,同时上传成功之后清空文件夹
以下是带注释的Python代码,实现了筛选器功能,使用了argparse和pandas模块处理命令行参数和数据,使用了re模块处理正则表达式,使用了matplotlib模块画图:
```python
import argparse
import os
import re
import pandas as pd
import matplotlib.pyplot as plt
def read_log_file(log_file):
# 打开日志文件
with open(log_file, 'r') as f:
# 读取日志文件并找到第一行"My name is kitty"之后的行
lines = f.readlines()
start = -1
for i, line in enumerate(lines):
if start == -1 and "My name is kitty" in line:
start = i + 1
elif start != -1:
break
lines = lines[start:]
# 去掉重复行,只留第一行
lines = list(set(lines))
lines.sort()
# 将行写入CSV文件
csv_file = f'{os.path.splitext(log_file)[0]}.csv'
with open(csv_file, 'w') as f:
for line in lines:
f.write(line)
return csv_file
def process_csv_file(csv_file):
# 读取CSV文件
df = pd.read_csv(csv_file, header=None)
# 处理第一行,提取单词并分列
words = []
regex1 = re.compile(r'\b(\w+)\b')
for word in regex1.findall(df.iloc[0, 0]):
words.append(word)
df = pd.DataFrame(columns=words)
for i, row in df.iterrows():
regex2 = re.compile(r'\s+')
cols = regex2.split(lines[i + 1])
df.loc[i] = cols
# 处理后三行,分列
for i in range(1, 4):
df_new = pd.DataFrame(columns=df.columns)
for j, row in df.iterrows():
regex2 = re.compile(r'\s+')
cols = regex2.split(lines[i * len(df) + j + 1])
df_new.loc[j] = cols
df = pd.concat([df, df_new], ignore_index=True)
return df
def plot_categories(df, categories):
# 画图
fig, axs = plt.subplots(2, 2, figsize=(10, 10))
axs = axs.flatten()
titles = list(df.columns)
for i in range(4):
index = [j for j, title in enumerate(titles) if title in categories[i]]
axs[i].set_title(f'Category {i + 1}')
axs[i].set_xlabel('Index')
axs[i].set_ylabel('Value')
for j in index:
axs[i].plot(df.iloc[:, j], label=titles[j])
axs[i].legend()
plt.show()
def main():
parser = argparse.ArgumentParser(description='处理日志文件并画图')
parser.add_argument('log_file', type=str, help='输入要处理的日志文件名')
parser.add_argument('-c', '--categories', nargs=4, type=str, metavar=('cat1', 'cat2', 'cat3', 'cat4'), default=[[], [], [], []], help='选择要绘制的分类')
args = parser.parse_args()
csv_file = read_log_file(args.log_file)
df = process_csv_file(csv_file)
categories = [c.split(',') for c in args.categories]
plot_categories(df, categories)
if __name__ == '__main__':
main()
```
这个代码可以按照你的要求处理日志文件并生成四个曲线图,同时还支持使用命令行参数选择要绘制的分类。你可以在命令行中运行这个代码,指定要处理的日志文件名和要绘制的分类,例如:
```
python script.py log.txt -c ABC,DFG,TBC,DHHG,lop,kki CAT DOG Fish,food
```
其中`script.py`是你保存代码的文件名,`log.txt`是你要处理的日志文件名,`-c`是可选参数,用于选择要绘制的分类,`ABC,DFG,TBC,DHHG,lop,kki`是第一类分类的标题,`CAT`是第二类分类的标题,`DOG`是第三类分类的标题,`Fish,food`是第四类分类的标题。如果你不指定`-c`参数,则默认绘制所有分类。
阅读全文