python爬取并存入MySql数据库实例

好的，这里提供一个简单的Python爬取并存入MySQL数据库的示例。

1. 导入相关库

import requests
from bs4 import BeautifulSoup
import pymysql

2. 连接MySQL数据库

conn = pymysql.connect(host='localhost', port=3306, user='root', password='123456', db='test', charset='utf8')
cursor = conn.cursor()

3. 发送请求并解析HTML页面

url = 'https://movie.douban.com/top250'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

4. 获取电影数据并保存至MySQL数据库中

movie_list = soup.find('ol', class_='grid_view').find_all('li')
for movie in movie_list:
    name = movie.find('span', class_='title').text
    score = movie.find('span', class_='rating_num').text
    link = movie.find('a')['href']
    sql = "INSERT INTO movie(name, score, link) VALUES ('%s', '%s', '%s')" % (name, score, link)
    cursor.execute(sql)
    conn.commit()

5. 关闭数据库连接

cursor.close()
conn.close()

以上示例是一个简单的Python爬取并存入MySQL数据库的流程，你可以根据自己的需求进行修改和优化。需要注意的是，如果要保存中文数据到MySQL数据库中，需要设置编码为utf8或utf8mb4。