Python爬虫如何提取网页表格数据

你可以使用 Python 的第三方库，例如 BeautifulSoup 或者 pandas 来提取网页中的表格数据。以下是使用 BeautifulSoup 的示例代码：

import requests
from bs4 import BeautifulSoup

# 发送请求获取网页内容
url = 'https://example.com'  # 替换为你要爬取的网页地址
response = requests.get(url)
html_content = response.content

# 使用 BeautifulSoup 解析网页内容
soup = BeautifulSoup(html_content, 'html.parser')

# 找到表格元素
table = soup.find('table')

# 提取表格中的数据
data = []
rows = table.find_all('tr')
for row in rows:
    cols = row.find_all('td')
    row_data = []
    for col in cols:
        row_data.append(col.text.strip())  # 提取每个单元格的文本数据
    data.append(row_data)

# 打印提取的数据
for row in data:
    print(row)

这段代码首先使用 requests 库发送 GET 请求获取网页内容，然后使用 BeautifulSoup 解析网页内容。通过 find 方法找到表格元素，再使用 find_all 方法找到表格中的行和列，提取每个单元格的文本数据，并将其存储在一个二维列表中。最后，遍历该列表并打印提取的数据。

另外，如果你想更方便地处理和操作表格数据，可以考虑使用 pandas 库。pandas 提供了更高级的功能，可以直接将表格数据转换为 DataFrame 对象，并进行各种数据操作和分析。你可以通过 pandas 的 read_html 函数直接读取网页中的表格数据，示例代码如下：

import pandas as pd

url = 'https://example.com'  # 替换为你要爬取的网页地址
tables = pd.read_html(url)

# 获取第一个表格的数据
data = tables[0]

# 打印表格数据
print(data)

这段代码通过 read_html 函数读取网页中的所有表格数据，并返回一个包含 DataFrame 对象的列表。你可以根据需要选择具体的表格进行处理和分析。