python 爬虫爬取猫眼电影TOP100的数据
时间: 2023-07-09 11:54:49 浏览: 180
好的,我可以为你提供一个简单的 Python 爬虫来爬取猫眼电影 TOP100 的数据。首先,需要安装 requests 和 BeautifulSoup 库。可以在命令行中输入以下命令进行安装:
```
pip install requests
pip install beautifulsoup4
```
然后,可以使用以下代码来获取猫眼电影 TOP100 的数据:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://maoyan.com/top100'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
bs = BeautifulSoup(response.text, 'html.parser')
movies = bs.find_all('div', {'class': 'movie-item-info'})
for movie in movies:
name = movie.find_all('a')[0].text.strip()
star = movie.find_all('p')[0].text.strip()
time = movie.find_all('p')[1].text.strip()
print('电影名:{},演员:{},上映时间:{}'.format(name, star, time))
```
上述代码中,首先定义了一个 URL 和请求头部,然后使用 requests 库向该 URL 发送 GET 请求,并使用 BeautifulSoup 库解析响应的 HTML 内容。接着,使用 find_all 方法获取所有电影的信息,然后循环遍历每一部电影,使用 find_all 方法获取电影名称、演员和上映时间,并将这些信息打印出来。
当然,这只是一个简单的示例,还可以根据需要进行更复杂的操作,比如将数据存储到数据库中等。希望能帮到你。
阅读全文