如何读取大量txt文件写入同一个excel文件

你可以使用Python的pandas库来读取文本文件并将它们写入同一个Excel文件中。下面是一个示例代码，假设你的文本文件都存储在一个文件夹中：

import os
import pandas as pd

# 设置文件夹路径和Excel文件名
folder_path = 'path/to/folder'
excel_file = 'output.xlsx'

# 创建一个空的DataFrame
df = pd.DataFrame()

# 遍历文件夹中的所有txt文件
for filename in os.listdir(folder_path):
    if filename.endswith('.txt'):
        # 读取文本文件并添加到DataFrame中
        filepath = os.path.join(folder_path, filename)
        temp_df = pd.read_csv(filepath, delimiter='\t', header=None)
        df = pd.concat([df, temp_df], axis=0

相关问题

写一个多线程读取数据库数据，单线程写入excel的例子

### 回答1：
以下是一个使用Python多线程读取数据库数据，单线程写入Excel的例子：

import threading
import queue
import pymysql
import openpyxl

# 数据库连接信息
DB_HOST = 'localhost'
DB_USER = 'root'
DB_PASSWORD = 'password'
DB_DATABASE = 'test'
DB_TABLE = 'data'

# Excel文件名
EXCEL_FILENAME = 'data.xlsx'

# 线程数
THREAD_NUM = 4

# 数据库查询语句
QUERY_SQL = 'SELECT * FROM %s LIMIT %s, %s'

# 写入Excel的列名
COLUMN_NAMES = ['id', 'name', 'age']

# 每个线程查询的数据行数
PER_THREAD_ROWS = 1000

# 数据库连接
db_conn = pymysql.connect(host=DB_HOST, user=DB_USER, password=DB_PASSWORD, database=DB_DATABASE)

# 查询总行数
with db_conn.cursor() as cursor:
    cursor.execute('SELECT COUNT(*) FROM %s' % DB_TABLE)
    total_rows = cursor.fetchone()[0]

# 查询队列
query_queue = queue.Queue()

# 结果队列
result_queue = queue.Queue()

# 线程锁
lock = threading.Lock()

# 查询线程
def query_thread():
    while True:
        start, end = query_queue.get()
        with db_conn.cursor() as cursor:
            cursor.execute(QUERY_SQL % (DB_TABLE, start, PER_THREAD_ROWS))
            result = cursor.fetchall()
            result_queue.put(result)
        query_queue.task_done()

# 写入Excel线程
def write_excel_thread():
    wb = openpyxl.Workbook()
    ws = wb.active
    ws.append(COLUMN_NAMES)
    while True:
        result = result_queue.get()
        if result is None:
            break
        for row in result:
            with lock:
                ws.append(row)
        result_queue.task_done()
    wb.save(EXCEL_FILENAME)

# 启动查询线程
for i in range(THREAD_NUM):
    t = threading.Thread(target=query_thread, daemon=True)
    t.start()

# 启动写入Excel线程
t = threading.Thread(target=write_excel_thread, daemon=True)
t.start()

# 添加查询任务
for i in range(0, total_rows, PER_THREAD_ROWS):
    query_queue.put((i, PER_THREAD_ROWS))

# 等待查询任务完成
query_queue.join()

# 添加结束标志
result_queue.put(None)

# 等待写入Excel线程结束
result_queue.join()

该例子使用了一个查询队列和一个结果队列，查询线程从查询队列中取出查询任务，查询完数据后将结果放入结果队列，写入Excel线程从结果队列中取出结果，将结果写入Excel文件中。

需要注意的是，在写入Excel时需要加锁，避免多个线程同时写入同一个单元格，导致数据错误。

### 回答2：
多线程读取数据库数据，单线程写入Excel的例子可以采用生产者-消费者模型。首先创建一个生产者线程用于从数据库中读取数据，然后将数据放入一个共享的线程安全队列中，多个消费者线程从队列中获取数据并写入Excel文件。

下面是一个示例代码：

import threading
import queue
import pymysql
import xlwt

class DatabaseReader(threading.Thread):
    def __init__(self, db_conn, data_queue):
        threading.Thread.__init__(self)
        self.db_conn = db_conn
        self.data_queue = data_queue

    def run(self):
        cursor = self.db_conn.cursor()
        cursor.execute("SELECT * FROM table_name")
        rows = cursor.fetchall()
        
        for row in rows:
            self.data_queue.put(row)
        
        self.data_queue.put(None)  # 结束标志

        cursor.close()
        self.db_conn.close()

class ExcelWriter(threading.Thread):
    def __init__(self, data_queue, filename):
        threading.Thread.__init__(self)
        self.data_queue = data_queue
        self.filename = filename

    def run(self):
        workbook = xlwt.Workbook()
        sheet = workbook.add_sheet('sheet1')

        row_index = 0
        while True:
            data = self.data_queue.get()
            if data is None:
                break
            
            for col_index, value in enumerate(data):
                sheet.write(row_index, col_index, value)
            
            row_index += 1

        workbook.save(self.filename)

if __name__ == '__main__':
    db_conn = pymysql.connect(host='localhost', user='root', password='password', database='database_name')

    data_queue = queue.Queue()

    num_threads = 5
    for _ in range(num_threads):
        reader = DatabaseReader(db_conn, data_queue)
        reader.start()

    writer = ExcelWriter(data_queue, 'output.xls')
    writer.start()

    writer.join()
    db_conn.close()

以上代码创建了一个生产者线程，用于从数据库中读取数据并放入一个队列中，同时创建一个消费者线程，用于从队列中获取数据并写入Excel文件。通过多个生产者线程并行读取数据库数据，可以提高读取的效率；而通过单个消费者线程写入Excel文件，可以保证数据写入的有序性。

需要注意的是，在生产者线程中，需要将数据库的连接对象传递给线程，以便在线程结束时关闭数据库连接。同时，在消费者线程中，当遇到结束标志时需要及时退出循环，避免无限等待。

此例子仅供参考，具体应用场景还需根据实际需求进行相应的修改和调整。

### 回答3：
多线程读取数据库数据、单线程写入Excel的例子可以通过以下步骤实现：

1. 创建一个数据库连接，连接到指定的数据库。
2. 设定需要读取的数据表，并确定需要获取的数据列。
3. 创建一个多线程的读取函数，该函数可以同时从数据库中读取多条数据，并将这些数据存储在内存中的数据结构中，如列表或字典。
4. 创建一个单线程的写入函数，该函数负责将内存中的数据写入Excel文件中。可以使用第三方库，如pandas或openpyxl来实现Excel的写入操作。
5. 创建多个线程的实例，并将读取函数作为线程运行的目标。
6. 运行多个线程，同时从数据库中读取数据。
7. 在所有线程都完成读取后，调用写入函数将读取的数据写入Excel文件中。
8. 关闭数据库连接，释放资源。

这样一个多线程读取数据库数据、单线程写入Excel的例子就完成了。通过多线程同时读取数据库数据，可以提高读取的效率。然后通过单线程写入Excel，避免并发写入操作导致的数据错误。这个例子可以用来处理大量数据的读取和写入操作，提高程序的处理能力。

python读取excel写入word

可以使用Python中的openpyxl库和python-docx库来读取Excel文件和写入Word文件。首先，使用openpyxl库来读取Excel文件，然后将数据存储在Python中。接下来，使用python-docx库来创建Word文档并将Excel中的数据写入到文档中。以下是使用这两个库的一些示例代码：

# 导入所需的库
import openpyxl
from docx import Document
from docx.shared import Inches
 
# 从Excel文件中读取数据
workbook = openpyxl.load_workbook('filename.xlsx')
sheet = workbook.active
 
# 创建一个Word文档
document = Document()
 
# 将Excel数据写入Word文档中
for row in sheet.iter_rows():
    row_cells = [cell.value for cell in row]
    p = document.add_paragraph()
    for cell_value in row_cells:
        p.add_run(str(cell_value)).bold = True
        p.add_run('\t')
    p.add_run('\n')
 
# 将Word文档保存到本地
document.save('output.docx')

这段代码将Excel文件中的数据读取并将其写入到Word文档中。请注意，此代码只适用于少量数据，如果需要处理大量数据，请使用更高效的代码。