python爬取网页表格数据教程

Python爬取网页表格数据通常可以使用BeautifulSoup库配合requests库来实现。以下是一个简单的步骤教程：

1. **安装所需库**：首先确保已经安装了`requests`和`beautifulsoup4`库，如果没有，可以使用pip安装：

   pip install requests beautifulsoup4

2. **发送HTTP请求**：使用`requests.get()`函数获取网页内容。例如，获取'https://example.com'的HTML：

   import requests
   url = 'https://example.com'
   response = requests.get(url)
   html_content = response.text

3. **解析HTML内容**：使用BeautifulSoup解析HTML字符串，定位到表格元素。你可以通过`find_all('table')`找到所有的表格：

   from bs4 import BeautifulSoup
   soup = BeautifulSoup(html_content, 'html.parser')
   tables = soup.find_all('table')

4. **遍历表格行和单元格**：对于每个表格，使用`tr`标签找到每一行，再用`td`或`th`标签抓取单元格数据：

   table_data = []
   for table in tables:
       rows = table.find_all('tr')
       for row in rows:
           cols = row.find_all(['td', 'th']) # 区分表头和数据列
           data_row = [col.text.strip() for col in cols]
           table_data.append(data_row)

5. **处理数据**：现在你得到了一个二维列表，每行代表表格的一行数据。可以根据需要进一步清洗、存储或分析数据。

# 示例存储数据
with open('table_data.txt', 'w', newline='') as f:
    for row in table_data:
        f.write('\t'.join(row) + '\n')