爬取CNN新闻
时间: 2023-07-27 12:07:03 浏览: 280
python爬虫,爬取CNNNews网页的带视频的新闻
5星 · 资源好评率100%
爬取CNN新闻需要使用网络爬虫技术,以下是一个Python示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 指定要爬取的新闻页面URL
url = 'https://www.cnn.com/'
# 发送请求并获取页面HTML源码
response = requests.get(url)
html = response.text
# 使用BeautifulSoup解析HTML源码
soup = BeautifulSoup(html, 'html.parser')
# 查找新闻标题和链接
for article in soup.select('h3.cd__headline'):
title = article.text.strip()
link = article.a['href']
print('标题:', title)
print('链接:', link)
```
这个示例代码使用requests库发送HTTP请求,并使用BeautifulSoup库解析HTML源码,然后查找新闻标题和链接。你可以根据自己的需要修改代码,例如指定要爬取的新闻类别、时间范围等。但需要注意,网站的Robots协议可能限制了爬取,你需要遵守相关规定。
阅读全文