python爬虫爬取https://new.qq.com/动态新闻的图片
时间: 2023-08-01 18:10:53 浏览: 359
爬虫_python_一款抓取整个网站的图片程序
好的,这里提供一个基于Python的爬取https://new.qq.com/动态新闻的图片的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = "https://new.qq.com/ch/world/"
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
# 获取所有的新闻列表
news_list = soup.find_all('div', class_='detail')
for news in news_list:
# 获取新闻标题
title = news.find('a', class_='linkto').text
# 获取新闻详情链接
detail_url = news.find('a', class_='linkto')['href']
# 获取新闻详情页
detail_page = requests.get(detail_url)
detail_soup = BeautifulSoup(detail_page.content, 'html.parser')
# 获取新闻详情页中的图片链接
img_list = detail_soup.find_all('img')
for img in img_list:
img_url = img.get('src')
if img_url:
# 下载图片
r = requests.get(img_url, stream=True)
with open(title + '.jpg', 'wb') as f:
for chunk in r.iter_content(chunk_size=1024):
if chunk:
f.write(chunk)
```
这个代码会爬取https://new.qq.com/ch/world/页面上的所有新闻,进入每个新闻详情页获取其中的图片链接,并下载图片到本地。你可以根据需要修改代码适配自己的需求。
阅读全文