python 遍历多线程mysql的所有表格内容并且计算

时间: 2024-02-03 18:13:25 浏览: 23
可以使用Python的`threading`模块和`pymysql`模块实现多线程遍历MySQL表格并计算。 首先,需要连接MySQL数据库,可以使用如下代码: ```python import pymysql # 连接MySQL数据库 conn = pymysql.connect(host='localhost', port=3306, user='root', password='password', db='test') # 获取游标 cur = conn.cursor() # 执行SQL语句 cur.execute('SELECT * FROM table_name') # 获取查询结果 result = cur.fetchall() # 关闭游标和连接 cur.close() conn.close() ``` 接下来,可以使用`threading`模块创建多个线程并遍历表格。例如: ```python import threading import pymysql # 定义线程类 class MyThread(threading.Thread): def __init__(self, table_name): threading.Thread.__init__(self) self.table_name = table_name def run(self): # 连接MySQL数据库 conn = pymysql.connect(host='localhost', port=3306, user='root', password='password', db='test') # 获取游标 cur = conn.cursor() # 执行SQL语句 cur.execute('SELECT * FROM %s' % self.table_name) # 获取查询结果 result = cur.fetchall() # 计算结果 total = 0 for row in result: # 计算每行数据的总和 for i in row: total += i print('Table %s Total: %d' % (self.table_name, total)) # 关闭游标和连接 cur.close() conn.close() # 获取所有表格名称 conn = pymysql.connect(host='localhost', port=3306, user='root', password='password', db='test') cur = conn.cursor() cur.execute('SHOW TABLES') tables = cur.fetchall() # 创建线程并遍历表格 threads = [] for table in tables: thread = MyThread(table[0]) threads.append(thread) thread.start() # 等待所有线程执行完毕 for thread in threads: thread.join() # 关闭游标和连接 cur.close() conn.close() ``` 以上代码可以多线程遍历MySQL数据库的所有表格,并计算每行数据的总和。

相关推荐

import pandas as pd from sqlalchemy import create_engine # 连接到数据库 engine = create_engine('mysql+pymysql://user:password@localhost/database') # 获取所有表格的名称 with engine.connect() as conn, conn.begin(): tables = conn.execute("SHOW TABLES").fetchall() # 遍历所有表格 for table in tables: table_name = table[0] table_name_quoted = '' + table_name + '' # 检查是否存在名为'a'的列,如果不存在则添加'a'和'b'列 with engine.connect() as conn, conn.begin(): a_column = conn.execute("SHOW COLUMNS FROM " + table_name_quoted + " LIKE 'a'").fetchone() if a_column is None: conn.execute("ALTER TABLE " + table_name_quoted + " ADD COLUMN a DECIMAL(10,2)") conn.execute("ALTER TABLE " + table_name_quoted + " ADD COLUMN b DECIMAL(10,2)") # 查询net_mf_amount列的数据 query = "SELECT trade_date, net_mf_amount FROM " + table_name_quoted + " ORDER BY trade_date DESC" df = pd.read_sql_query(query, engine) # 计算a和b列 a_column = [] b_column = [] for i in range(len(df)): if i == 0: a_column.append(None) b_column.append(None) else: if pd.notnull(df.iloc[i]['net_mf_amount']) and pd.notnull(df.iloc[i-1]['net_mf_amount']): if i-2 >= 0: if pd.notnull(df.iloc[i-2]['net_mf_amount']): a = df.iloc[i]['net_mf_amount'] - df.iloc[i-1]['net_mf_amount'] b = df.iloc[i]['net_mf_amount'] - df.iloc[i-2]['net_mf_amount'] a_column.append(a) b_column.append(b) else: j = i-3 while j >= 0: if pd.notnull(df.iloc[j]['net_mf_amount']): a = df.iloc[i]['net_mf_amount'] - df.iloc[i-1]['net_mf_amount'] b = df.iloc[i]['net_mf_amount'] - df.iloc[j]['net_mf_amount'] a_column.append(a) b_column.append(b) break j -= 1 else: a = df.iloc[i]['net_mf_amount'] - df.iloc[i-1]['net_mf_amount'] b = None a_column.append(a) b_column.append(b) else: a_column.append(None) b_column.append(None) # 将结果保存到数据库 with engine.connect() as conn, conn.begin(): for i in range(len(df)): conn.execute("UPDATE " + table_name_quoted + " SET a=%s, b=%s WHERE trade_date=%s", (a_column[i], b_column[i], df.iloc[i]['trade_date'])) # 关闭连接 engine.dispose() 有5000个表格,使用多线程,线程池

最新推荐

recommend-type

python遍历文件夹下所有excel文件

主要介绍了python遍历文件夹下所有excel文件的方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
recommend-type

详解Python多线程下的list

主要介绍了Python多线程下的list的相关资料,文中示例代码非常详细,帮助大家更好的理解和学习,感兴趣的朋友可以了解下
recommend-type

python多线程接口案例

项目为某内控公司要求并发测试,编写多线程访问接口,并生成Excel报告的脚本,...⑤将多线程执行记录生成表格; import xlwt import json import random import threading import time import requests # ip与passwd
recommend-type

python多线程并发及测试框架案例

主要介绍了python多线程并发及测试框架案例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
recommend-type

python多线程同步之文件读写控制

主要为大家详细介绍了python多线程同步之文件读写控制,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

用 Python 画一个可以动的爱心

好的,我可以帮助您使用Python来绘制一个动态的爱心。您可以使用turtle库来实现。以下是实现代码: ```python import turtle import math # 设置画布和画笔 canvas = turtle.Screen() canvas.bgcolor("black") pencil = turtle.Turtle() pencil.speed(0) pencil.color("red", "pink") pencil.pensize(3) # 定义爱心函数 def draw_love(heart_size, x_offset=0, y_offset=0):
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。