python爬取电影信息代码
时间: 2023-07-22 15:58:54 浏览: 64
以下是一个简单的Python爬取豆瓣电影信息的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
movies = soup.find_all('div', class_='hd')
for movie in movies:
title = movie.a.span.text.strip()
link = movie.a['href']
print(title, link)
```
这段代码使用requests库向豆瓣电影top250页面发送请求,获取网页源代码。然后使用BeautifulSoup库解析源代码,找到所有电影信息的div标签,并提取电影名称和链接。最后将电影名称和链接打印出来。
相关问题
python爬取电影网站代码
以下是一个简单的 Python 代码示例,用于从电影网站上爬取电影信息:
```python
import requests
from bs4 import BeautifulSoup
# 电影网站的 URL
url = "https://www.example.com/movies"
# 发送 HTTP 请求
response = requests.get(url)
# 使用 BeautifulSoup 解析 HTML 内容
soup = BeautifulSoup(response.content, "html.parser")
# 获取电影列表
movies = soup.find_all("div", class_="movie")
# 循环遍历电影列表并输出电影信息
for movie in movies:
title = movie.find("h2", class_="title").text.strip()
rating = movie.find("span", class_="rating").text.strip()
summary = movie.find("p", class_="summary").text.strip()
print("Title:", title)
print("Rating:", rating)
print("Summary:", summary)
print("--------------------")
```
需要注意的是,网站的 HTML 结构可能会经常更改,因此需要根据实际情况进行调整。另外,爬取网站数据时需要注意法律法规和网站的使用协议。
python爬取猫眼电影代码
以下是使用 Python 爬取猫眼电影的代码:
```python
import requests
from lxml import etree
# 请求头部信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 猫眼电影TOP100的URL地址
url = 'https://maoyan.com/board/4'
# 发送HTTP请求
response = requests.get(url, headers=headers)
# 解析HTML内容
html = etree.HTML(response.text)
# 获取电影名称和主演信息
movies = html.xpath('//div[@class="movie-item-info"]')
for movie in movies:
name = movie.xpath('./p[@class="name"]/a/text()')[0]
star = movie.xpath('./p[@class="star"]/text()')[0].strip()
print(name, star)
```
这段代码使用了 requests 和 lxml 库,通过发送 HTTP 请求获取猫眼电影TOP100的HTML页面,再使用 xpath 解析出电影名称和主演信息,最后输出到控制台。注意,为了避免请求被拒绝,我们添加了 User-Agent 头部信息。