写一个循环不断向dataframe中写入新的dataframe

可以使用 while 循环来实现不断向 dataframe 中写入新的 dataframe，具体实现如下：

import pandas as pd

df = pd.DataFrame() # 初始化一个空的 dataframe

while True:
    # 在这里写下获取新 dataframe 的代码，假设获取到的新 dataframe 名称为 new_df
    new_df = ...
    
    # 把新 dataframe 添加到原 dataframe 的末尾
    df = pd.concat([df, new_df], ignore_index=True)
    
    # 在这里写下判断是否继续写入数据的代码，比如判断是否还有新数据，或者设定一个次数限制等
    if ...
        break
        
# 在接下来的代码中可以使用 df 对象来访问、处理新写入的数据

需要注意的是，在具体实现中需要根据实际情况合理地设计获取新 dataframe 的代码以及停止写入数据的条件。另外，这里假设写入的多个 dataframe 已经具有相同的列结构，如果列结构不同可以通过设置 concat 函数的 axis 参数来进行列合并。

相关问题

for循环结果写入dataframe

可以使用`for`循环将结果写入DataFrame。根据引用\[1\]的示例代码，可以使用`df.append()`方法将每次循环的结果添加到DataFrame中。在每次循环中，可以创建一个新的DataFrame对象，并使用`ignore_index=True`参数来确保索引正确地递增。以下是一个示例代码：

import pandas as pd

df = pd.DataFrame()

for i in range(5, 10):
    new_row = pd.DataFrame({'code': \[i\]})
    df = df.append(new_row, ignore_index=True)

print(df)

这段代码将创建一个空的DataFrame `df`，然后在每次循环中，创建一个新的DataFrame `new_row`，其中包含一个名为`code`的列，值为当前循环的索引`i`。然后，使用`df.append()`方法将`new_row`添加到`df`中，并使用`ignore_index=True`参数来确保索引正确递增。最后，打印输出DataFrame `df`，即每次循环结果写入的DataFrame。
#### 引用[.reference_title]
- *1* *2* [如何将for i in range循环中输出的结果放入dataframe中](https://blog.csdn.net/amuyiweiyang/article/details/118030449)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [如何将python中for循环的输出写入csv格式的文件？](https://blog.csdn.net/weixin_29279101/article/details/114934227)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
- *4* [在python中将循环的结果写入dataframe](https://blog.csdn.net/weixin_39669982/article/details/111813256)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]

如何将dataframe分批写入db

如果你的DataFrame非常大，一次性将所有数据写入数据库可能会导致内存不足或写入速度缓慢。为了避免这种情况，你可以将DataFrame分批写入数据库。

下面是一个示例代码，将DataFrame数据分成每次写入1000行，并将它们分批写入名为“my_table”的表中：

from sqlalchemy import create_engine
import pandas as pd

# 创建DataFrame数据
df = pd.DataFrame({'col1': range(3000), 'col2': ['a', 'b', 'c']*1000})

# 连接到数据库
engine = create_engine('postgresql://user:password@host:port/database')

# 将DataFrame分批写入数据库
chunk_size = 1000
for i in range(0, len(df), chunk_size):
    chunk = df.iloc[i:i+chunk_size]
    chunk.to_sql('my_table', engine, if_exists='append', index=False)

在这个示例中，我们将DataFrame分成每次1000行的批次，并将它们写入名为“my_table”的表中。注意，我们在循环中使用了`df.iloc[]`方法来选择每个批次的行。当我们在调用`df.to_sql()`方法时，我们没有指定要写入的列，因为我们想将整个DataFrame写入数据库。如果你只想写入DataFrame的一部分列，可以使用前面提到的方法来指定要写入的列。

此外，你还可以调整`chunk_size`的值来适应你的内存和性能需求。较小的`chunk_size`值可能会导致更好的性能，但需要更多的写入操作。