python爬虫request爬取豆瓣top100

你可以使用Python的requests库来爬取豆瓣电影的Top100页面。下面是一个简单的示例代码，可以帮助你入门：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'

# 发送请求并获取页面内容
response = requests.get(url)
content = response.text

# 使用BeautifulSoup解析页面内容
soup = BeautifulSoup(content, 'html.parser')
movies = soup.find_all('div', class_='hd')

# 打印电影名称
for movie in movies:
    name = movie.a.span.text
    print(name)

这段代码中，我们首先使用requests库发送GET请求获取豆瓣电影Top250页面的内容，然后使用BeautifulSoup库对页面进行解析，找到包含电影名称的节点，并打印出来。

你可以根据自己的需求修改代码，例如获取其他信息或者进一步处理数据。另外，记得要遵守网站的爬取规则，并设置适当的请求头和延时，以免给服务器带来过大的负担。