python爬虫人民网
时间: 2023-11-08 10:52:07 浏览: 78
python爬虫
以下是爬取人民网新闻的基本步骤:
1. 导入相关库
```
import requests
from bs4 import BeautifulSoup
```
2. 发送请求并获取页面内容
```
url = 'http://www.people.com.cn/'
response = requests.get(url)
html = response.text
```
3. 解析页面内容,获取需要的信息
```
soup = BeautifulSoup(html, 'html.parser')
news_list = soup.find_all('a', class_='title')
for news in news_list:
print(news.text)
```
以上代码可以爬取人民网首页的新闻标题。需要注意的是,人民网的页面内容是动态加载的,如果需要爬取更多的信息,可以使用 Selenium 等工具模拟浏览器行为。此外,爬取网站内容需要遵守相关法律法规,不得侵犯他人权益。
阅读全文