python 爬取新浪新闻中心国内新闻标题及对应的新闻内容
时间: 2024-02-02 12:03:54 浏览: 117
好的,请稍等片刻。以下是Python爬取新浪新闻中心国内新闻标题及对应的新闻内容的代码示例:
```python
import requests
from bs4 import BeautifulSoup
# 请求新浪新闻国内新闻的页面
url = 'https://news.sina.com.cn/china/'
res = requests.get(url)
res.encoding = 'utf-8'
# 使用BeautifulSoup解析页面
soup = BeautifulSoup(res.text, 'html.parser')
# 获取新闻列表的父元素
news_list = soup.find('ul', class_='news-list')
# 循环遍历每条新闻
for news in news_list.find_all('li'):
# 获取新闻标题和链接
title = news.a.text
link = news.a['href']
# 访问新闻链接页面
content_res = requests.get(link)
content_res.encoding = 'utf-8'
# 解析新闻页面内容
content_soup = BeautifulSoup(content_res.text, 'html.parser')
article = content_soup.find('div', id='article')
if article is None:
continue
content = ''
# 获取新闻内容
for p in article.find_all('p'):
content += p.text
# 输出新闻标题和内容
print(title)
print(content)
print()
```
注意:此代码仅用于学习和技术交流,未经允许不得用于任何商业用途!
阅读全文