python 先在basic数据库读取stock_basic表格的ts_code列的数据作为表名,以这些表名在daily数据库查找表格,表格数量5000个,一个表格数据3000个,pandans计算,mysql遍历每个表格,表格要加反引号根据trade_date降序排列,对net_mf_amount列的前一天的数据减去今天的数据放在a列,如果之前计算过则跳过,把a列的值前一天的数据减去今天的数据放在b列,如果之前计算过则跳过,数据保存不使用replace,并且保存a和b列
时间: 2024-02-09 08:11:42 浏览: 65
好的,这是一个稍微修改过的任务,需要用到pandas计算和MySQL遍历。以下是一个基本的实现思路,你可以参考:
1. 在`basic`数据库中读取`stock_basic`表格的`ts_code`列的数据作为表名
2. 遍历所有表格,对于每个表格
3. 在`daily`数据库查找表格
4. 查询net_mf_amount列的数据,按照trade_date降序排列,并加上反引号
5. 对查询结果进行pandas计算,得到a列的值
6. 判断是否之前已经计算过,如果已经计算过,则跳过
7. 将a列的值前一天的数据减去今天的数据放在b列
8. 保存a和b列的值
9. 继续处理下一个表格,直到处理完所有表格
下面是一些参考代码:
```python
import pandas as pd
import mysql.connector
# 连接到MySQL数据库
cnx_basic = mysql.connector.connect(user='root', password='password',
host='localhost', database='basic')
cnx_daily = mysql.connector.connect(user='root', password='password',
host='localhost', database='daily')
# 从basic数据库中读取ts_code列的数据
query = "SELECT ts_code FROM stock_basic"
table_names = pd.read_sql(query, cnx_basic)['ts_code']
# 遍历所有表格
for table_name in table_names:
# 在daily数据库中查找表格
query = f"SELECT COUNT(*) AS count FROM information_schema.TABLES WHERE TABLE_NAME = '{table_name}'"
cursor = cnx_daily.cursor()
cursor.execute(query)
result = cursor.fetchone()
# 如果表格不存在,跳过
if result[0] == 0:
continue
# 查询表格
query = f"SELECT trade_date, net_mf_amount FROM `{table_name}` ORDER BY trade_date DESC"
# 查询数据
data = pd.read_sql(query, cnx_daily)
# 计算a列的值
data['a'] = data['net_mf_amount'].diff(periods=1)
# 判断是否已经计算过
if 'b' in data.columns:
continue
# 计算b列的值
data['b'] = data['a'].diff(periods=1)
# 保存a和b列的值
query = f"ALTER TABLE `{table_name}` ADD COLUMN `a` FLOAT, ADD COLUMN `b` FLOAT"
cursor = cnx_daily.cursor()
cursor.execute(query)
cnx_daily.commit()
data[['a', 'b']].to_sql(table_name, cnx_daily, if_exists='append', index=False)
# 关闭连接
cnx_basic.close()
cnx_daily.close()
```
注意,以上代码仅作为参考,具体实现需要根据实际情况进行调整。同时,这个任务可能需要较长时间完成,需要耐心等待。
阅读全文