用Python写一个小爬虫
时间: 2023-05-28 14:05:10 浏览: 118
用Python写爬虫
以下是一个简单的Python爬虫,用于获取豆瓣电影的电影名和评分:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')
movies = soup.select('.hd')
ratings = soup.select('.rating_num')
for i in range(len(movies)):
print(movies[i].a.span.text, ratings[i].text)
```
解释:
1. 首先导入所需的库:requests用于获取网页内容,BeautifulSoup用于解析HTML文档。
2. 指定要爬取的网址,并使用requests库获取网页内容。
3. 使用BeautifulSoup将HTML文档解析为一个BeautifulSoup对象,便于后续操作。
4. 使用CSS选择器获取电影名和评分,分别存储在movies和ratings变量中。
5. 使用循环遍历movies和ratings,输出每个电影的名字和评分。
阅读全文