python爬取数据存入mysql

下面是一个简单的Python爬虫示例，它将数据从网站上爬取并将其存储到MySQL数据库中：

import requests
from bs4 import BeautifulSoup
import mysql.connector

# 建立MySQL连接
mydb = mysql.connector.connect(
    host="localhost",
    user="yourusername",
    password="yourpassword",
    database="yourdatabase"
)

# 创建游标
mycursor = mydb.cursor()

# 发出HTTP请求获取HTML页面
url = "http://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# 爬取数据
data_list = []
for item in soup.find_all('div', class_='item'):
    title = item.find('h2').text.strip()
    price = item.find('span', class_='price').text.strip()
    data_list.append((title, price))

# 存储到MySQL数据库中
sql = "INSERT INTO products (title, price) VALUES (%s, %s)"
mycursor.executemany(sql, data_list)
mydb.commit()

这个示例假设你已经创建了一个名为“products”的MySQL表，其中包含“title”和“price”列。你需要将“yourusername”，“yourpassword”和“yourdatabase”替换为你自己的MySQL连接信息。