python爬虫豆瓣动画片
时间: 2024-02-21 20:55:43 浏览: 159
Python爬虫是一种利用Python编程语言来提取网页数据的技术。而豆瓣是一个知名的电影、图书、音乐等资源分享平台,其中也包括了动画片资源。因此,你可以使用Python爬虫来获取豆瓣上的动画片信息。
以下是一个简单的示例代码,用于爬取豆瓣动画片的基本信息:
```python
import requests
from bs4 import BeautifulSoup
def get_douban_animation():
url = 'https://movie.douban.com/tag/#/?sort=S&range=9,10&tags=%E5%8A%A8%E7%94%BB'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
animation_list = soup.find_all('div', class_='pl2')
for animation in animation_list:
title = animation.find('a').text.strip()
rating = animation.find('span', class_='rating_nums').text.strip()
print(f'Title: {title}, Rating: {rating}')
get_douban_animation()
```
这段代码使用了`requests`库发送HTTP请求,以及`BeautifulSoup`库解析HTML页面。它会获取豆瓣动画片页面上的标题和评分,并打印出来。
请注意,爬取网页数据需要遵守网站的使用规则和法律法规,避免对网站造成过大的负担或侵犯他人的权益。在实际应用中,请确保你的爬虫行为合法合规。
阅读全文