使用python爬取一个网站并做数据可视化图
时间: 2024-02-02 10:03:06 浏览: 85
好的,我可以帮您回答这个问题。为了爬取一个网站并做数据可视化图,您可以使用Python爬虫技术和数据可视化工具。以下是一个示例代码,使用`requests`和`BeautifulSoup`库从网站获取数据,并使用`pandas`和`matplotlib`库做数据可视化图:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
import matplotlib.pyplot as plt
url = 'https://movie.douban.com/top250'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)
html = response.text
soup = BeautifulSoup(html, 'html.parser')
movies = []
for movie in soup.select('.item'):
title = movie.select('.title')[0].get_text().strip()
rating = movie.select('.rating_num')[0].get_text().strip()
movies.append({'title': title, 'rating': rating})
df = pd.DataFrame(movies)
df['rating'] = df['rating'].astype(float)
df = df.sort_values('rating', ascending=False)
plt.bar(df['title'][:10], df['rating'][:10])
plt.title('豆瓣电影TOP10评分')
plt.xlabel('电影名称')
plt.ylabel('评分')
plt.show()
```
以上代码会从豆瓣电影Top250页面爬取电影名称和评分信息,并将评分最高的前十部电影绘制成条形图。您可以根据需要修改代码以获取更多信息和做更多可视化图。
阅读全文