使用python爬虫爬取猫眼电影首页
时间: 2023-07-05 10:35:14 浏览: 143
可以使用Python的requests和BeautifulSoup库来爬取猫眼电影首页。下面是一段简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://maoyan.com/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
# 打印网页标题
print(soup.title.string)
# 打印正在热映的电影名称和评分
hot_movies = soup.find_all('div', {'class': 'movie-item-hover'})
for movie in hot_movies:
name = movie.find('span', {'class': 'name'}).string
score = movie.find('span', {'class': 'score'}).string
print(name, score)
```
在代码中,首先使用requests库发送GET请求获取网页内容。然后使用BeautifulSoup库解析网页内容,提取需要的信息。在这个例子中,我们提取了网页标题和正在热映的电影名称和评分。
需要注意的是,为了防止被网站封禁,我们在请求头中添加了User-Agent字段,模拟了一个浏览器的请求。
阅读全文