我用pycharm写代码，需要调用数据集，数据集格式为CSV，但是数据集格式太大了为108G我改怎么办

如果你在PyCharm中遇到大文件（如108GB的CSV文件），直接读取可能会导致内存溢出或性能问题。对于大型数据集，有几种策略可以处理：

1. **分块读取**（chunking）：使用pandas库的`read_csv()`函数时，设置`chunksize`参数，将大文件分割成较小的数据块逐块读取。例如：

   import pandas as pd
   chunk_size = 1_000_000  # 每次读取1MB数据
   for chunk in pd.read_csv('large_file.csv', chunksize=chunk_size):
       process_data(chunk)

2. **按需加载**（lazy loading）：使用`dask`库，它可以在内存不足以一次性加载整个数据集时进行分布式计算。安装`dask`并导入相应的模块：

   pip install dask[dataframe]

然后使用`dask.dataframe.read_csv()`读取大文件。

3. **数据库连接**：如果可能，考虑将CSV转换为数据库表（如SQLite、MySQL或PostgreSQL），然后通过SQL查询来操作数据，这会更高效地管理和访问。

4. **流式处理**：使用像`pandas.DataFrame_iterator`这样的迭代器，或者`csv.reader`逐行读取，避免一次性加载所有内容到内存。

5. **外部存储服务**：如果数据非常大，还可以考虑将数据存储在AWS S3、Google Cloud Storage等云存储服务上，然后通过Python SDK进行访问。