python网络爬虫豆瓣电影代码
时间: 2023-11-09 20:06:39 浏览: 99
一个python 豆瓣电影的爬虫
5星 · 资源好评率100%
这段代码是一个简单的Python网络爬虫,用于爬取豆瓣电影的数据。它包含两个函数:url_parse和content_parse。url_parse函数用于获取请求地址并获取数据,content_parse函数用于解析获取到的数据并返回电影名称和评分。具体代码如下:
```python
import requests
from fake_useragent import UserAgent
# 获取请求地址并获取数据
def url_parse():
url="https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=rank&page_limit=20&page_start=0"
headers={"User-Agent":UserAgent().random}
response=requests.get(url=url,headers=headers).json()
print(response)
return response
# 内容解析
def content_parse(res):
vedio_name=[]
vedio_rate=[]
content=res["subjects"]
for i in content:
name=i["title"]
rate=i["rate"]
vedio_name.append(name)
vedio_rate.append(float(rate))
print(name,rate)
return vedio_name ,vedio_rate
```
阅读全文