python爬取电影票房
时间: 2023-11-17 07:05:26 浏览: 87
基于Python的电影票房信息数据的爬取及分析-毕业论文
5星 · 资源好评率100%
以下是使用Python爬取电影票房的一般步骤:
1. 导入所需的库,例如requests、BeautifulSoup、pandas等。
2. 使用requests库获取目标网页的HTML源代码。
3. 使用BeautifulSoup库解析HTML源代码,提取所需的信息。
4. 将提取的信息存储到本地文件或数据库中。
下面是一个简单的示例代码,用于爬取猫眼电影的实时票房数据:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 获取目标网页的HTML源代码
url = 'https://maoyan.com/board/1'
response = requests.get(url, headers=headers)
html = response.text
# 使用BeautifulSoup库解析HTML源代码,提取所需的信息
soup = BeautifulSoup(html, 'html.parser')
movies = soup.find_all('div', class_='movie-item-info')
# 将提取的信息存储到本地文件或数据库中
data = []
for movie in movies:
name = movie.find('a').text
star = movie.find('p', class_='star').text.strip()[3:]
release_time = movie.find('p', class_='releasetime').text.strip()[5:]
data.append([name, star, release_time])
df = pd.DataFrame(data, columns=['电影名称', '主演', '上映时间'])
df.to_csv('maoyan.csv', index=False, encoding='utf-8-sig')
```
阅读全文