if CSV.split('\\')[-1] == (str(i)+'.csv'): print(CSV) df = pd.read_csv( CSV, index_col=0) #index_col用来指定表格的索引值 index_col=0 是将第一列作为索引 #print(df) set_off = np.array(df['开始城区'][0:len(df)].astype(str))#获取开始城区 arrive = np.array(df['结束城区'][0:len(df)].astype(str))
时间: 2024-04-18 09:31:44 浏览: 57
您的代码片段中,首先使用 `CSV.split('\\')[-1]` 来获取文件路径中的文件名,然后将其与 `(str(i)+'.csv')` 进行比较。如果相等,则打印出文件名 `CSV`。
接下来,使用 `pd.read_csv()` 函数读取 `CSV` 文件,并将第一列作为索引值。
然后,使用 `np.array()` 函数将 '开始城区' 和 '结束城区' 列的值转换为字符串数组,并存储在 `set_off` 和 `arrive` 中。
相关问题
r1=np.zeros((24,12,12)) #三维矩阵 # np.zeros((11,11)) for i in range(0, 24): r = [] attraction=[] for CSV in list_csv: #if CSV.endswith(str(i)+'.csv'): # print(CSV) # print(str(i)+'.csv') # print(CSV.split('\\')[-1]) if CSV.split('\\')[-1] == (str(i)+'.csv'): print(CSV) df = pd.read_csv( CSV, index_col=0) #index_col用来指定表格的索引值 index_col=0 是将第一列作为索引 #print(df) set_off = np.array(df['开始城区'][0:len(df)].astype(str))#获取开始城区 arrive = np.array(df['结束城区'][0:len(df)].astype(str))#获取离开城区 #astype数据转换类型,转换成字符串存到数组中 # df[col][row]读取某个单元格 先列后行 上面代码表示为读取多行一列 # df['结束城区'][0:len(df)].astype(str) 表示对指定行和列进行类型转换 df=dateframe #print(arrive) m,d = all_np(arrive) #print(result) #print(m) attraction.append(d) r.append(list(m[0])) occurrence =np.sum(r,axis=0) #axis=0 表示在第一个维度上求和,列表只有一个维度 print(occurrence )#发生量 r.append(occurrence ) #print(attraction) # 吸引量 #print(r) r1[i, :, :] = r a1 = np.zeros((11, 11)) for k in range(0, 11): for j in range(0, 11): a = 0.1 * attraction[k] * occurrence[j] a1[k, j] = a / distance[k, j] print(r1) 什么意思
这段代码的意思是创建一个三维矩阵 `r1`,其维度为 24x12x12。然后通过循环遍历一个名为 `list_csv` 的列表,读取其中的 CSV 文件,并提取其中的数据。在每个 CSV 文件中,根据特定条件筛选出所需的数据,并存储到相应的数组中。接着,对这些数据进行计算和处理,生成新的数组 `occurrence` 和 `a1`。最后,将 `occurrence` 添加到原始数据数组 `r` 中,并将其赋值给 `r1` 的相应位置。最后,打印输出 `r1`。
需要注意的是,代码中使用了一些函数和变量,例如 `np.zeros()`、`pd.read_csv()`、`np.array()`、`astype()`、`np.sum()` 和 `distance`。在这段代码中,可能还有其他相关的变量和函数没有提供,所以无法完全理解其含义。
忽略该脚本警告 import pandas as pd import glob def com(): file_paths = glob.glob('E:/py卓望/数据分析/top150_20230321/*.txt') data = pd.DataFrame() for i in file_paths: df = pd.read_csv(i, sep=',', header=None, skiprows=[0]) data = pd.concat([data, df]) data.drop(df.columns[0], axis=1, inplace=True) df.sort_values(by=1, ascending=False, inplace=True) data.iloc[:, 0] = data.iloc[:, 0].str.lower() data.to_csv('E:/py卓望/数据分析/all/all_file.txt', sep=',', index=False,header=False) all = pd.read_csv('E:/py卓望/数据分析/all/all_file.txt', header=None, delimiter=',') all[0] = all[0].str.split('.') all[0] = all[0].apply( lambda x: '.'.join(x[-3:]) if '.'.join(x[-2:]) in ['gov.cn', 'com.cn', 'org.cn', 'net.cn'] else '.'.join(x[-2:])) new_col = all[0] result = pd.concat([new_col,all.iloc[:,1:]],axis=1) result.to_csv('E:/py卓望/数据分析/all/二级域名.txt', sep=',',index=False,header=False) summation = pd.read_csv('E:/py卓望/数据分析/all/二级域名.txt', header=None, delimiter=',') grouped = summation.groupby(0)[1].sum().reset_index() grouped = grouped.sort_values(by=1, ascending=False).reset_index(drop=True) grouped[1] = grouped[1].fillna(summation[1]) grouped.to_csv('E:/py卓望/数据分析/all/处理后求和域名.txt', sep=',', index=False, header=False) top_10000 = pd.read_csv('E:/py卓望/数据分析/all/处理后求和域名.txt', header=None, delimiter=',') alls = top_10000.nlargest(10000, 1) alls.drop(columns=[1], inplace=True) alls.to_csv('E:/py卓望/数据分析/all/data.txt', sep=',',index=False, header=False) final = top_10000.iloc[10000:] final.drop(columns=[1], inplace=True) final.to_csv('E:/py卓望/数据分析/all/final_data.txt', sep=',',index=False, header=False) print(final.to_csv) warnings.filterwarnings("ignore") def main(): com() if __name__ == "__main__": print("开始清洗域名文件") main() print("数据清洗完毕")
要忽略该脚本中的警告,可以在脚本开头添加以下两行代码:
```python
import warnings
warnings.filterwarnings("ignore")
```
这会忽略脚本中的所有警告。将这两行代码添加到脚本的开头即可:
```python
import pandas as pd
import glob
import warnings
def com():
warnings.filterwarnings("ignore")
file_paths = glob.glob('E:/py卓望/数据分析/top150_20230321/*.txt')
data = pd.DataFrame()
for i in file_paths:
df = pd.read_csv(i, sep=',', header=None, skiprows=[0])
data = pd.concat([data, df])
data.drop(df.columns[0], axis=1, inplace=True)
df.sort_values(by=1, ascending=False, inplace=True)
data.iloc[:, 0] = data.iloc[:, 0].str.lower()
data.to_csv('E:/py卓望/数据分析/all/all_file.txt', sep=',', index=False,header=False)
all = pd.read_csv('E:/py卓望/数据分析/all/all_file.txt', header=None, delimiter=',')
all[0] = all[0].str.split('.')
all[0] = all[0].apply(
lambda x: '.'.join(x[-3:]) if '.'.join(x[-2:]) in ['gov.cn', 'com.cn', 'org.cn', 'net.cn'] else '.'.join(x[-2:]))
new_col = all[0]
result = pd.concat([new_col,all.iloc[:,1:]],axis=1)
result.to_csv('E:/py卓望/数据分析/all/二级域名.txt', sep=',',index=False,header=False)
summation = pd.read_csv('E:/py卓望/数据分析/all/二级域名.txt', header=None, delimiter=',')
grouped = summation.groupby(0)[1].sum().reset_index()
grouped = grouped.sort_values(by=1, ascending=False).reset_index(drop=True)
grouped[1] = grouped[1].fillna(summation[1])
grouped.to_csv('E:/py卓望/数据分析/all/处理后求和域名.txt', sep=',', index=False, header=False)
top_10000 = pd.read_csv('E:/py卓望/数据分析/all/处理后求和域名.txt', header=None, delimiter=',')
alls = top_10000.nlargest(10000, 1)
alls.drop(columns=[1], inplace=True)
alls.to_csv('E:/py卓望/数据分析/all/data.txt', sep=',',index=False, header=False)
final = top_10000.iloc[10000:]
final.drop(columns=[1], inplace=True)
final.to_csv('E:/py卓望/数据分析/all/final_data.txt', sep=',',index=False, header=False)
print(final.to_csv)
def main():
print("开始清洗域名文件")
com()
print("数据清洗完毕")
if __name__ == "__main__":
main()
```
这样就可以在运行脚本时忽略所有警告了。
阅读全文