python爬虫导入到数据库

Python爬虫可以将获取到的数据导入到数据库中进行存储和管理。一般来说，我们需要先创建一个数据库和表，然后使用Python中的pymysql库连接数据库，并使用SQL语句进行数据的插入。具体步骤如下：
1. 创建数据库和表，可以使用MySQL Workbench等工具进行操作。
2. 在Python中导入pymysql库，并使用connect()方法连接数据库。
3. 使用execute()方法执行SQL语句，插入数据到表中。
4. 使用commit()方法提交数据，并使用close()方法关闭数据库连接。

下面是一个示例代码，将获取到的网页标题和URL存储到数据库中：

import requests
from bs4 import BeautifulSoup
import pymysql

# 连接数据库
db = pymysql.connect("localhost", "root", "root", "test")
cursor = db.cursor()

# 创建表
cursor.execute("DROP TABLE IF EXISTS website")
sql = """CREATE TABLE website (
         id INT(11) NOT NULL AUTO_INCREMENT,
         title VARCHAR(255) NOT NULL,
         url VARCHAR(255) NOT NULL,
         PRIMARY KEY (id))"""
cursor.execute(sql)

# 获取网页信息
url = "https://www.example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")

# 获取标题和URL，并插入到数据库中
for link in soup.find_all("a"):
    title = link.get("title")
    url = link.get("href")
    if title and url:
        sql = "INSERT INTO website(title, url) VALUES (%s, %s)"
        cursor.execute(sql, (title, url))

# 提交数据并关闭连接
db.commit()
db.close()