举一个爬取豆瓣电影的例子

当然，我可以为您提供一个简单的例子来爬取豆瓣电影。请注意，这只是一个示例，并且可能需要进一步的优化和适应您的具体需求。

import requests
from bs4 import BeautifulSoup

def crawl_douban_movies():
    url = 'https://movie.douban.com/top250'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}
    
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    movie_list = soup.select('.grid_view li')
    
    for movie in movie_list:
        title = movie.select('.title')[0].text
        rating = movie.select('.rating_num')[0].text
        print(f'Title: {title}, Rating: {rating}')

这个例子使用了 `requests` 库来发送 HTTP 请求并获取网页内容，使用了 `BeautifulSoup` 库来解析网页内容。我们通过豆瓣电影的首页 https://movie.douban.com/top250 获取电影列表并打印每部电影的标题和评分。

请注意，为了避免被豆瓣网站识别为爬虫，我们设置了一个自定义的 User-Agent 头部。在实际的爬虫应用中，您可能还需要处理网页解析、数据存储等更多细节。