Python如何读取448.10 GB的数据,把它们放到列表中
时间: 2024-03-23 09:42:35 浏览: 17
如果您要读取大量数据并将其放入列表中,最好使用迭代器,因为将所有数据加载到内存中可能会导致内存溢出。可以使用Python的生成器函数来创建迭代器,逐个读取并处理数据。
下面是一个示例代码片段,可以读取一个文件夹中所有文件的数据,并将它们放入一个列表中:
```python
import os
def read_files(directory):
for filename in os.listdir(directory):
filepath = os.path.join(directory, filename)
with open(filepath, 'rb') as f:
while True:
data = f.read(1024) # 每次读取1024字节
if not data:
break
yield data
def read_data(directory):
data = []
for chunk in read_files(directory):
data.append(chunk)
return data
directory = '/path/to/folder'
data = read_data(directory)
```
在上述代码中,`read_files` 函数是一个生成器函数,它读取文件夹中所有文件的数据,并逐个返回数据块。`read_data` 函数使用 `read_files` 生成器函数来读取数据,并将每个数据块添加到列表中。最后,`data` 变量包含所有数据块的列表。
请注意,这只是一个示例代码片段,并且您需要根据您的具体情况进行修改和调整。例如,您可能需要更改每次读取的字节数或添加其他数据处理步骤。