import requests import json import csv url = 'https://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData?page={}&num=40&sort=symbol&asc=1&node=hs_bjs&symbol=&_s_r_a=init' # 创建CSV文件 csv_file = open("susu.csv", 'w', newline='') writer = csv.writer(csv_file) writer.writerow(['股票代码', '股票名称', '涨跌额','最新价','涨跌幅','买入','卖出','昨出','今开','最高','最低','成交量/手','成交额/万']) for i in range(1, 6): # 构造请求URL req_url = url.format(i) # 发送HTTP请求 response = requests.get(req_url) # 解析响应内容 stock_list = json.loads(response.text) for stock_info in stock_list: # 提取所需数据 symbol = stock_info['code'] name = stock_info['name'] trade = float(stock_info['trade']) pricechange = float(stock_info['pricechange']) changepercent = float(stock_info['changepercent']) buy=float(stock_info['buy']) sell=float(stock_info['sell']) settlement=float(stock_info['settlement']) open=float(stock_info['open']) high=float(stock_info['high']) low=float(stock_info['buy']) volume=float(stock_info['buy']) amount=float(stock_info['buy']) # 过滤无效数据 if '--' in [symbol, name]: continue # 保存到CSV文件 writer.writerow([symbol, name,trade,pricechange, changepercent,buy,sell,settlement,open,high,low,volume,amount]) # 关闭CSV文件 csv_file.close()实验步骤
时间: 2024-01-10 08:03:37 浏览: 68
TAIEX数据:可从https://www.twse.com.tw获取Json原始数据
这段代码是Python爬虫的示例代码,用于爬取新浪财经网站上的某个股票板块中的股票数据,并将数据保存到CSV文件中。其中,使用了requests库发送HTTP请求,json库解析响应内容,以及csv库将数据保存到CSV文件中。具体操作步骤如下:
1. 导入需要使用的库,包括requests、json和csv。
2. 定义要爬取的网址url,其中包括页码、每页数量、排序方式、板块名称等参数。
3. 创建一个CSV文件,用于保存爬取到的数据。在文件中写入表头,即每列数据的含义。
4. 循环爬取每一页的数据。通过构造请求URL,并使用requests库发送HTTP请求,得到响应内容。
5. 解析响应内容,获取每个股票的相关数据,如股票代码、名称、涨跌额、最新价、涨跌幅等。
6. 判断数据是否有效,如果无效则跳过不处理。
7. 将每个股票的数据写入CSV文件中。
8. 循环结束后,关闭CSV文件。
需要注意的是,这段代码可能不适用于所有网站和数据格式,需要根据实际情况进行修改和调整。同时,在爬取数据时需要注意遵守网站的相关规定和法律法规,以免触犯相关法律。
阅读全文