pgsql insert into select 大量数据，然后使用update 更新多个字段，报错Exception while reading from stream，如何优化性能

在PostgreSQL中，当你尝试通过`INSERT INTO SELECT`从一个查询结果集插入大量数据，并接着使用`UPDATE`语句更新多个字段时，如果遇到`Exception while reading from stream`这样的错误，这通常是由于数据库无法处理过多的数据流或者内存限制导致的。

要优化这种场景的性能，你可以考虑以下几个方面：

1. 分批处理：将大批量数据拆分成小批次执行，可以使用`UNION ALL`或`COPY`命令，每次插入一部分后再更新，而不是一次性处理所有数据。

示例：

   WITH data_batch AS (
       SELECT * FROM large_table LIMIT 10000
       UNION ALL
       SELECT * FROM large_table OFFSET 10000 LIMIT 10000
       -- 更改这个OFFSET值来调整分批大小
   )
   INSERT INTO target_table SELECT * FROM data_batch;
   
   UPDATE target_table
   SET updated_field_1 = ..., updated_field_2 = ...; -- 更新字段

2. 使用事务：为了保证数据一致性，可以开启事务并在每个操作后提交，避免因异常中断而影响数据完整性和一致性。

3. 确保索引：检查目标表是否对需要更新的字段有合适的索引，这样可以加快更新的速度。

4. 调整数据库设置：如果你有足够的权限，可以临时增大`max_parallel_workers_per_gather`和`shared_buffers`等配置以处理更大的数据流量，但这可能会增加服务器的压力。

5. 数据库连接池管理：如果你的应用程序频繁地进行这类操作，考虑使用连接池来复用数据库连接，减少建立新连接的时间开销。