爬取艺恩电影排行榜用bs4爬取六页信息
时间: 2024-03-13 10:23:54 浏览: 22
好的,我可以为您提供一个示例代码来爬取艺恩电影排行榜的六页信息。请先确保您已经安装了bs4模块。
```python
import requests
from bs4 import BeautifulSoup
for page in range(1, 7):
url = f'https://www.endata.com.cn/BoxOffice/BO/Year/total?year=2021&pIndex={page}'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
table = soup.find('table', class_='tabBox')
rows = table.find_all('tr')
for row in rows[1:]:
cols = row.find_all('td')
name = cols[0].find('a').text
score = cols[1].find_all('span')[-1].text
print(name, score)
```
这段代码会爬取2021年的电影排行榜前六页信息。每页包含50部电影,因此总共会输出300部电影的名称和评分。注意,为了避免被反爬虫机制封锁,建议加入适当的延时等反爬虫措施。
相关问题
Python应该如何爬取豆瓣电影排行榜
可以使用Python中的库进行网页爬取,如requests和BeautifulSoup。具体步骤可以参考以下代码:
```
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/chart'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
movies = soup.find_all('div', class_='pl2')
for movie in movies:
title = movie.find('a').text.strip()
rating = movie.find('span', class_='rating_nums').text.strip()
print(title, rating)
```
这段代码通过requests库发送GET请求获取豆瓣电影排行榜的网页内容,并使用BeautifulSoup库解析网页内容。最后找到所有电影的div标签,并提取电影名称和电影评分信息。
写一个python代码,爬取豆瓣电影排行榜
好的,以下是Python爬取豆瓣电影排行榜的代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/chart'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
list_top = soup.find('div', {'class': 'indent'})
list_movies = list_top.find_all('div', {'class': 'item'})
for movie in list_movies:
name = movie.find('div', {'class': 'pic'}).find('img')['alt']
rating = movie.find('span', {'class': 'rating_num'}).get_text()
print(name + ' ' + rating)
```
上述代码首先发送一个GET请求到豆瓣电影排行榜的页面,然后用BeautifulSoup库解析HTML文本。接着,通过查找特定的标签和类名,从页面中获取电影名称和评分,最后将它们打印出来。注意需要设置User-Agent,以防止请求被豆瓣屏蔽。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)