http://www.jianshu.com/
时间: 2023-07-14 12:04:54 浏览: 409
mini_springboot:springboot极简教程:http://www.jianshu.comcc3fe8e7aeb09
好的,您希望爬取简书网站的新闻。下面是一个简单的Python爬虫示例代码,使用requests和BeautifulSoup库来爬取网页内容:
```python
import requests
from bs4 import BeautifulSoup
def scrape_news(url):
# 发送GET请求获取网页内容
response = requests.get(url)
# 检查响应状态码
if response.status_code == 200:
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.content, 'html.parser')
# 找到新闻标题和链接
news_titles = soup.find_all('a', class_='title')
# 输出新闻标题和链接
for title in news_titles:
print(title.text.strip())
print(title['href'])
else:
print("请求失败")
# 将要爬取的网址传入函数
scrape_news("http://www.jianshu.com/")
```
请注意,这只是一个简单的示例代码,您可能需要根据具体网站的结构和需求进行适当的修改。另外,请确保在爬取网站数据时遵守相关法律法规和网站的使用条款。
阅读全文