python爬虫美国疫情

以下是使用Python爬虫获取美国疫情数据的步骤：

1. 导入必要的库

import requests
from bs4 import BeautifulSoup

2. 发送请求并获取HTML页面

url = 'https://www.worldometers.info/coronavirus/country/us/'
response = requests.get(url)
html = response.text

3. 解析HTML页面并获取所需数据

soup = BeautifulSoup(html, 'html.parser')
cases = soup.find_all('div', class_='maincounter-number')
total_cases = cases[0].text.strip()
total_deaths = cases[1].text.strip()
total_recovered = cases[2].text.strip()

4. 输出所需数据

print('Total cases:', total_cases)
print('Total deaths:', total_deaths)
print('Total recovered:', total_recovered)

相关问题

微博话题博文内容爬虫

### 如何使用爬虫抓取微博话题下的博文内容

#### 使用Selenium和XPath定位方法
为了获取特定微博话题下的内容，可以采用自动化测试工具 Selenium 结合 XPath 定位技术来模拟真实用户的操作行为。这种方法能够有效处理动态加载的内容并绕过一些简单的反爬机制。

对于目标页面上的交互元素，比如搜索框和筛选条件按钮，可以通过查找对应的 HTML 属性来进行精确定位，并执行点击事件以触发页面更新显示所需的数据[^4]。

from selenium import webdriver
import time

driver = webdriver.Chrome()
try:
    driver.get('https://weibo.com/')
    
    # 定位到搜索栏输入话题关键词
    search_box = driver.find_element_by_xpath("//input[@node-type='text']")
    search_box.send_keys("#美国疫情#")

    # 提交查询表单或直接回车键提交
    submit_button = driver.find_element_by_xpath("//button[@node-type='submit']")
    submit_button.click()

    # 切换至实时选项卡查看最新发布的信息流
    real_time_tab = driver.find_element_by_link_text("实时")
    real_time_tab.click()

    # 给予足够的时间让异步JavaScript渲染完成
    time.sleep(5)

finally:
    pass  # 关闭浏览器或其他清理工作

#### 尊重网站规则与道德准则
值得注意的是，在编写任何类型的网络爬虫程序之前，应当仔细阅读目标站点的 `robots.txt` 文件了解允许访问哪些资源路径，并严格遵守其规定。此外，合理设置请求间隔时间避免给服务器带来过大压力也是十分重要的举措之一[^2]。

#### 数据预处理与存储
一旦成功提取到了网页中的结构化信息之后，则可以根据实际需求进一步解析HTML文档对象模型（DOM），从中抽取感兴趣的部分如发布时间、作者昵称、正文内容等字段保存下来供后续分析使用。通常情况下会将这些数据序列化成 JSON 或 CSV 格式的文件以便于导入数据库系统或者其他应用程序中进行更深入的研究[^1]。