帮用python代码爬取豆瓣电影网热榜前十
时间: 2023-08-21 10:06:46 浏览: 171
comment_爬虫_xpath_豆瓣电影_python_影评_
5星 · 资源好评率100%
好的,我可以帮你写一个Python爬虫来爬取豆瓣电影网的热榜前十。
首先,我们需要安装一些必要的库,包括requests和beautifulsoup4。
```python
pip install requests
pip install beautifulsoup4
```
然后,我们可以编写以下代码:
```python
import requests
from bs4 import BeautifulSoup
url = "https://movie.douban.com/chart"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")
movies = soup.find_all("div", class_="pl2")
for i in range(10):
movie = movies[i].find("a").text.strip()
print(f"{i+1}. {movie}")
```
这段代码将会爬取豆瓣电影网的热榜前十,并输出电影名称。注意要在请求头中添加User-Agent,否则可能会被网站拦截。
阅读全文