编写爬取http://www.12365auto.com/zlts/0-0-0-0-0-0_0-0-1.shtml网站上的投诉页面进行数据分析的代码
时间: 2024-04-26 20:22:59 浏览: 105
好的,以下是爬取该网站的投诉数据并保存到本地 CSV 文件的 Python 代码示例:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 目标网页的 URL
url = 'http://www.12365auto.com/zlts/0-0-0-0-0-0_0-0-1.shtml'
# 发送 HTTP 请求,获取网页的 HTML 文档
response = requests.get(url, headers=headers)
html_doc = response.content.decode('gbk')
# 使用 BeautifulSoup 库解析 HTML 文档
soup = BeautifulSoup(html_doc, 'html.parser')
# 获取投诉信息所在的表格
table = soup.find('table', class_='ar_list')
# 遍历表格中的每一行,提取出每一条投诉信息的数据
rows = table.find_all('tr')
complaints = []
for row in rows[1:]:
cols = row.find_all('td')
complaint = {
'complaint_id': cols[0].text.strip(),
'brand': cols[1].text.strip(),
'car_model': cols[2].text.strip(),
'problem_type': cols[3].text.strip(),
'complaint_time': cols[4].text.strip(),
'status': cols[5].text.strip(),
'problem_description': cols[6].text.strip(),
'complaint_reply': cols[7].text.strip(),
}
complaints.append(complaint)
# 将提取出来的数据保存到 CSV 文件中
with open('complaints.csv', 'w', newline='', encoding='utf-8-sig') as f:
writer = csv.DictWriter(f, fieldnames=complaints[0].keys())
writer.writeheader()
writer.writerows(complaints)
```
这段代码会将网页上的投诉信息爬取下来,并保存到名为 `complaints.csv` 的 CSV 文件中。您可以根据实际情况修改代码中的请求头、URL、保存文件名等参数。
阅读全文