用Python写一个爬取电影保存到本地的代码
时间: 2024-05-18 20:14:46 浏览: 161
好的,以下是一个简单的 Python 爬虫代码,可以爬取电影信息并保存到本地:
```python
import requests
from bs4 import BeautifulSoup
# 请求url
url = 'https://movie.douban.com/top250'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
# 解析html
soup = BeautifulSoup(response.content, 'html.parser')
movie_list = soup.find_all('div', class_='hd')
# 循环处理每个电影信息
for movie in movie_list:
movie_name = movie.a.span.text.strip()
print(movie_name)
# 保存到本地
with open('movies.txt', 'a', encoding='utf-8') as f:
f.write(movie_name + '\n')
```
这个爬虫使用了 requests 库和 BeautifulSoup 库,可以爬取豆瓣电影 Top250 的电影名称,并将电影名称保存到本地文件 movies.txt 中。你可以根据需要修改代码,添加更多电影信息的爬取和保存到本地。
阅读全文