python爬虫爬取数据并连接数据库写入

在Python中，我们可以使用BeautifulSoup等库进行网页数据爬取，并使用pymysql库连接数据库并将数据写入数据库。

以下是一个爬取示例，将数据写入MySQL数据库：

from bs4 import BeautifulSoup
import requests
import pymysql

# 连接MySQL数据库
conn = pymysql.connect(host='localhost', user='root', password='password', database='database_name', charset='utf8')
cursor = conn.cursor()

# 爬取数据
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
data_list = soup.find_all('div', class_='data')

# 将数据写入MySQL数据库
for data in data_list:
    # 获取需要保存的数据
    name = data.find('h2').text.strip()
    value = data.find('p').text.strip()

    # 构造SQL插入语句
    sql = "INSERT INTO data_table (name, value) VALUES ('%s', '%s')" % (name, value)

    # 执行SQL语句
    cursor.execute(sql)

# 提交并关闭连接
conn.commit()
cursor.close()
conn.close()

在这个示例中，我们首先使用pymysql库连接了MySQL数据库。接着，我们使用requests库访问网页，并使用BeautifulSoup库解析网页数据。然后，我们使用find_all()方法获取需要保存的数据，并使用for循环遍历数据。在循环中，我们获取了需要保存的数据，然后构造了SQL插入语句，并使用execute()方法执行SQL语句，将数据写入MySQL数据库。最后，我们使用commit()方法提交事务，并关闭了连接。