写一个requests爬取https://www.fjmotor.com.cn/allnews_list/tpid_10.html该网站的代码
时间: 2023-11-30 17:05:24 浏览: 78
好的,以下是使用Python的requests库爬取 https://www.fjmotor.com.cn/allnews_list/tpid_10.html 网站的代码:
```python
import requests
from bs4 import BeautifulSoup
url = "https://www.fjmotor.com.cn/allnews_list/tpid_10.html"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
# 示例:获取所有新闻的标题和链接
news_list = soup.find_all("div", class_="newslist-item")
for news in news_list:
title = news.find("a").text.strip()
link = news.find("a")["href"]
print(title, link)
```
上述代码首先使用requests库发送get请求,获取网页的HTML代码,然后使用BeautifulSoup库解析HTML代码。接着,我们可以通过BeautifulSoup提供的find和find_all方法查找网页中的元素,进而获取我们需要的数据。
以上代码仅供参考,实际应用时需要根据实际情况进行修改。
阅读全文