用python写一段爬取网页数据的代码
时间: 2023-07-28 12:10:02 浏览: 213
好的,以下是一个简单的Python爬虫实例,可以爬取指定网页的HTML代码:
```python
import requests
url = 'https://www.example.com' # 指定要爬取的网址
response = requests.get(url) # 发送GET请求获取网页内容
html = response.text # 获取网页HTML代码
print(html) # 打印HTML代码
```
需要注意的是,爬虫可能会涉及到法律和道德方面的问题,请在使用爬虫时遵守相关规定。同时,爬虫也可能会对网站造成一定的负担和影响,建议在爬取前先咨询网站管理员或所有者的意见。
相关问题
用Python写一个爬取网页视频代码
由于您没有提供具体的网页和视频链接,以下是一个基本的 Python 爬取视频的代码示例:
```python
import requests
url = "https://example.com/video.mp4" # 替换成实际的视频链接
response = requests.get(url, stream=True)
with open("video.mp4", "wb") as f: # 保存为本地文件,文件名为 video.mp4
for chunk in response.iter_content(chunk_size=1024):
if chunk:
f.write(chunk)
```
这段代码使用 requests 库发送 GET 请求获取视频数据,并以二进制流的形式保存到本地文件中。您需要将 `url` 替换成实际的视频链接,执行代码即可下载视频。
利用python写一段爬取新冠疫情数据的代码
好的,以下是一个简单的Python爬取新冠疫情数据的代码,使用了requests库和BeautifulSoup库:
``` python
import requests
from bs4 import BeautifulSoup
url = "https://covid19.who.int/region/wpro/country/cn"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
confirmed_cases = soup.find("div", {"class": "sc-fMiknA cYomRb"}).find("div", {"class": "sc-fMiknA jFfjLH"}).text
deaths = soup.find("div", {"class": "sc-fMiknA bHeGOS"}).find("div", {"class": "sc-fMiknA jFfjLH"}).text
recovered = soup.find("div", {"class": "sc-fMiknA eRBoJf"}).find("div", {"class": "sc-fMiknA jFfjLH"}).text
print("Confirmed cases: " + confirmed_cases)
print("Deaths: " + deaths)
print("Recovered: " + recovered)
```
这个代码使用了WHO的网站来获取中国的新冠疫情数据,首先使用requests库获得网页内容,然后使用BeautifulSoup库来解析网页内容并查找相应的数据。最后将数据打印出来。你可以根据需要修改代码来爬取其他网站上的数据。
阅读全文