用python写一个爬取网易新闻的代码
时间: 2023-12-17 21:43:32 浏览: 84
好的,以下是一个简单的使用Python爬取网易新闻的代码示例:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://news.163.com/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送请求
response = requests.get(url, headers=headers)
# 解析页面
soup = BeautifulSoup(response.text, 'html.parser')
# 获取新闻列表
news_list = soup.find('div', {'class': 'mod_top_news2'}).ul.find_all('li')
# 打印新闻标题和链接
for news in news_list:
title = news.a.text.strip()
link = news.a['href']
print(title, link)
```
这个示例代码使用requests库发送网络请求,使用BeautifulSoup库解析HTML页面,然后从页面中找到新闻列表,最终打印出新闻的标题和链接。当然,这只是一个简单的示例,实际爬取网易新闻的代码可能需要更加复杂和完善的处理。同时,爬取网站信息也需要遵守相关的法律法规和道德准则。
阅读全文