用python 爬取网页电影
时间: 2024-01-12 15:04:26 浏览: 146
可以使用 Python 中的爬虫库,如 BeautifulSoup 或者 Scrapy 来爬取网页电影。
首先,需要使用 Python 的 requests 库来发送 HTTP 请求,获取网页的 HTML 内容。然后,使用 BeautifulSoup 或者 Scrapy 库解析 HTML 内容,获取你感兴趣的信息。
例如,下面是使用 BeautifulSoup 爬取豆瓣电影 Top250 的代码示例:
```python
import requests
from bs4 import BeautifulSoup
def get_movies():
url = 'https://movie.douban.com/chart'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'}
html = requests.get(url, headers=headers).text
soup = BeautifulSoup(html, 'lxml')
movies_list = soup.find_all('div', class_='pl2')
for movie in movies_list:
title = movie.find('a')['title']
print(title)
get_movies()
```
上面的代码会输出豆瓣电影 Top250 的电影名称。
阅读全文