用python写一个爬取影视资源的完整代码
时间: 2023-09-25 22:06:43 浏览: 62
### 回答1:
嗨,你可以试试这段代码:import requests
from bs4 import BeautifulSoup# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
}# 获取源码
url = '要爬取的网站url'
res = requests.get(url, headers=headers)# 解析源码
soup = BeautifulSoup(res.text, 'lxml')# 获取影视资源
movies = soup.select('要抓取的元素的css选择器')# 输出结果
for movie in movies:
print(movie.text.strip())
### 回答2:
爬取影视资源的完整代码如下:
```python
import requests
from bs4 import BeautifulSoup
# 定义爬取影视资源的函数
def crawl_movies(url):
# 发送 HTTP GET 请求获取网页内容
response = requests.get(url)
# 使用 BeautifulSoup 解析网页
soup = BeautifulSoup(response.text, 'html.parser')
# 找到影视资源所在的标签
movie_tags = soup.find_all('div', class_='movie')
# 遍历每个影视资源标签
for movie_tag in movie_tags:
# 提取影视资源的标题和下载链接
title = movie_tag.find('h2').text.strip()
download_link = movie_tag.find('a', class_='download-link')['href']
# 打印影视资源的标题和下载链接
print("标题:", title)
print("下载链接:", download_link)
print("----------------------------------")
# 测试爬取影视资源函数
url = "http://example.com/movies"
crawl_movies(url)
```
以上代码是用Python实现的一个简单的爬取影视资源的例子。通过使用 requests 库发送 HTTP GET 请求获取网页内容,然后使用 BeautifulSoup 解析网页,找到影视资源所在的标签,并提取出影视资源的标题和下载链接。最后打印出每个影视资源的标题和下载链接。可以根据实际需求将其修改并应用于任何其他网站。注意,这只是一个简单的示例,实际爬取网页数据时请遵循相关法律法规。