python 爬虫写入数据库

在Python中，爬虫获取到数据后通常需要将这些数据存储到数据库中，以便后续分析或长期保存。以下是常见的步骤：

1. **选择数据库**：Python支持多种数据库系统，如MySQL、SQLite、PostgreSQL等，你可以根据项目需求选择合适的数据库。

2. **安装库**：使用`pip install`安装相应的数据库驱动，比如`pymysql`用于MySQL，`sqlite3`用于SQLite，`psycopg2`用于PostgreSQL等。

3. **连接数据库**：使用`connect()`函数创建与数据库的连接，提供数据库地址、用户名、密码等信息。

   import pymysql
   conn = pymysql.connect(host='localhost', user='your_username', password='your_password', db='your_database')

4. **创建游标**：通过连接获得游标，它是一个可以执行SQL命令的对象。

5. **执行SQL**：根据数据结构，可能需要插入 (`INSERT`)、更新 (`UPDATE`) 或查询 (`SELECT`) 数据。例如，如果数据是字典形式，可以用`cursor.execute()`执行SQL插入语句：

   cursor.execute("INSERT INTO your_table (column1, column2) VALUES (%s, %s)", (value1, value2))

6. **提交事务**：如果有多个操作需要一起生效，可以使用`commit()`方法提交事务；如果需要回滚，则使用`rollback()`。

7. **关闭连接**：爬取完成后别忘了关闭游标和连接，释放资源：

   cursor.close()
   conn.close()

8. **处理异常**：网络请求和数据库操作都可能存在错误，记得捕获并妥善处理异常。