python爬取网易新闻
时间: 2023-11-09 16:59:34 浏览: 139
Python正则抓取网易新闻的方法示例
5星 · 资源好评率100%
您可以使用Python来爬取网易新闻。以下是一个简单的示例代码,使用 requests 和 Beautiful Soup 库来实现:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://news.163.com/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 找到新闻列表的父元素
news_parent = soup.find('div', class_='mod_news')
# 遍历新闻列表
for news in news_parent.find_all('div', class_='mod_news_block'):
# 获取新闻标题和链接
title = news.find('h3').text.strip()
link = news.find('a')['href']
print(title, link)
```
这个示例代码可以获取网易新闻首页的新闻标题和链接。您可以根据需要进行进一步的数据提取和处理。
阅读全文