爬取8684上海公交查询网站 https://shanghai.8684.cn/line2 爬取上海每条常规线路公交，经过的站点数据，存储于csv或txt文件。保存为4列：公交 线路名，上行站点(站点用逗号隔开)，下行站点(站点用逗号隔开)，站点数(下行+上行)。

为了爬取8684上海公交查询网站的公交线路及站点数据，你需要使用网络爬虫技术，通常会涉及到Python编程语言和一些库，如BeautifulSoup、requests等。以下是一个简化的步骤概述：

1. **安装依赖库**：
首先确保已经安装了`requests`用于发送HTTP请求，以及`lxml`或`beautifulsoup4`库用于解析HTML。

pip install requests beautifulsoup4

2. **编写Python脚本**：
创建一个Python脚本，使用`requests.get()`获取网页内容，然后使用BeautifulSoup解析HTML结构找到包含站点信息的部分。

import requests
from bs4 import BeautifulSoup

# 定义URL
url = "https://shanghai.8684.cn/line2"

def get_bus_data():
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'lxml')

    # 查找特定的HTML元素，这里假设站点信息在某个class或id中
    # 请根据实际网站结构调整这部分代码
    stations_data = soup.find_all('div', class_='your_station_class')

    data_list = []
    for station in stations_data:
        route_name = station.find('h3').text
        up_stops = [stop.text.strip() for stop in station.find_all('span', class_='up')]
        down_stops = [stop.text.strip() for stop in station.find_all('span', class_='down')]
        
        # 计算总站点数
        total_stops = len(up_stops) + len(down_stops)

        data_list.append((route_name, ', '.join(up_stops), ', '.join(down_stops), total_stops))

    return data_list

# 将数据转换为CSV或TXT格式并保存
def save_to_file(data, file_format='csv'):
    if file_format == 'csv':
        with open('bus_routes.csv', 'w', newline='', encoding='utf-8') as f:
            writer = csv.writer(f)
            writer.writerow(['公交线路名', '上行站点', '下行站点', '站点数'])
            writer.writerows(data)
    elif file_format == 'txt':
        with open('bus_routes.txt', 'w', encoding='utf-8') as f:
            for route_info in data:
                f.write(','.join(route_info) + '\n')

# 调用函数并保存数据
save_to_file(get_bus_data())