数据载入与存储：文本、二进制、数据库及HDF5

"数据载入、存储及文件格式1" 数据载入和存储是数据分析过程中的关键步骤，涉及多种文件格式和方法。Python中的pandas库提供了强大的数据处理能力，支持多种数据输入输出。 文本格式数据的读写是常用操作。`pandas` 提供了 `read_csv()` 和 `to_csv()` 函数来读取和写入CSV（逗号分隔值）文件。例如，`read_csv()` 可以用来加载CSV文件，`nrows` 参数可以限制读取的行数，避免一次性加载整个大文件。`chunksize` 参数则用于分块读取，每一块指定行数，比如`read_csv("文件", chunksize=1000)`。 二进制格式如pickle和feather，用于高效地存储和加载数据，特别是大数据集。pickle用于Python对象，而feather是一种跨语言的二进制格式，特别适合pandas DataFrame。 与WebAPI交互通常涉及HTTP请求，Python的`requests`库可以完成这一任务，获取JSON或其他格式的数据。`json`模块用于JSON数据的序列化和反序列化，如`json.loads()`将JSON字符串转换为Python对象，`json.dumps()`反之。 数据库交互可以通过`pandas`的`read_sql_query()`或`read_sql_table()`函数实现，需要连接驱动，如`psycopg2`（PostgreSQL）或`pyodbc`（ODBC兼容数据库）。 分块读入文本文件时，`read_csv()` 的 `chunksize` 参数尤其有用，可以按需读取数据，减少内存占用。例如，`pd.read_csv("file.csv", chunksize=1000)` 会将文件分块为1000行的DataFrame。 JSON数据是一种轻量级的、人类可读的数据交换格式。`pandas` 的 `read_json()` 可以直接读取JSON文件或字符串，而 `to_json()` 可以将DataFrame或Series保存为JSON。`orient` 参数控制输出格式，如'records'表示每行作为独立记录。 对于大型Excel文件，`pandas` 的 `read_excel()` 可以读取，支持多种引擎如`openpyxl`和`xlrd`。处理大型文件时，可以结合`chunksize`进行分块读取。 HDF5是一种高性能的数据存储格式，`pandas` 使用`h5py`库进行交互，提供类似DataFrame的接口。 对于网络抓取，可以使用`requests`获取HTML或XML页面，`BeautifulSoup`或`lxml`库解析HTML和XML，提取所需数据。例如，`lxml.objectify.parse(open(path))`读取XML文件，`root.getroot()`获取根元素，`root.I`遍历所有INDICATOR元素。 总结起来，数据载入、存储涉及各种格式和策略，根据实际需求选择合适的方法，确保高效且内存友好地处理数据。