从 MySQL 读取 100w 数据进行处理，应该怎么做

从 MySQL 中读取大量数据（例如 100 万条）并进行处理，通常需要考虑性能优化以避免阻塞数据库服务器。以下是建议的一些步骤：

1. **分页查询**：由于一次性获取全部数据可能会导致内存溢出，可以使用 LIMIT 子句和 OFFSET 参数进行分批查询，每次获取一部分数据。

SELECT * FROM table_name LIMIT 1000 OFFSET (page_number - 1) * 1000;

调整 `page_number` 可以逐步获取所有数据。

2. **使用游标（Cursor）**：如果你的应用程序需要顺序处理每一条记录，游标是一种更好的选择，因为它们允许逐行读取而不加载整个结果集到内存中。

DECLARE cursor CURSOR FOR SELECT * FROM table_name;
OPEN cursor;
FETCH NEXT FROM cursor INTO :record;
WHILE @@FETCH_STATUS = 0 DO
   -- 处理每一行记录
   ...
   FETCH NEXT FROM cursor INTO :record;
END WHILE;
CLOSE cursor;
DEALLOCATE PREPARE cursor;

3. **使用临时表或视图**：如果处理过程涉及复杂的计算，可以将数据暂存到临时表或创建视图，减少对原始表的压力。

4. **利用索引**：确保对查询字段有适当的索引，加快查询速度。

5. **存储过程或事件**：对于一些需要定期执行的任务，可以编写存储过程或触发器来自动化处理过程，而不是直接从应用程序中读取。

6. **并发处理**：如果是多线程或多进程应用，可以考虑异步读取和处理数据，提高整体效率。

7. **批量操作**：利用MySQL的批量插入功能，如 `INSERT INTO ... VALUES` 或 `LOAD DATA INFILE`，减少网络通信次数。

完成数据处理后，记得关闭连接释放资源。同时，根据实际情况监控数据库性能，确保不会因长时间高负载而影响其他用户。