Python学习笔记之抓取某只基金历史净值数据实战案例

Python学习笔记之抓取某只基金历史净值数据实战案例学习笔记之抓取某只基金历史净值数据实战案例

主要介绍了Python学习笔记之抓取某只基金历史净值数据案例,结合具体实例形式分析了Python基于selenium库的数据抓取及mysql交互相

关实现技巧,需要的朋友可以参考下

本文实例讲述了Python抓取某只基金历史净值数据。分享给大家供大家参考，具体如下：

http://fund.eastmoney.com/f10/jjjz_519961.html

1、接下来，我们需要动手把这些html抓取下来(这部分知识我们之前已经学过，现在不妨重温)

# coding: utf-8

from selenium.webdriver.support.ui import WebDriverWait

# 初始化函数

def initSpider():

driver = webdriver.PhantomJS(executable_path=r"你phantomjs可执行文件的绝对路径")

driver.get("http://fund.eastmoney.com/f10/jjjz_519961.html") # 要抓取的网页地址

# 找到"下一页"按钮,就可以得到它前面的一个label,就是总页数

getPage_text = driver.find_element_by_id("pagebar").find_element_by_xpath(

"div[@class='pagebtns']/label[text()='下一页']/preceding-sibling::label[1]").get_attribute("innerHTML")

# 得到总共有多少页

total_page = int("".join(filter(str.isdigit, getPage_text)))

# 返回

tonum = driver.find_element_by_id("pagebar").find_element_by_xpath(

"div[@class='pagebtns']/input[@class='pnum']") # 得到 页码文本框

jumpbtn = driver.find_element_by_id("pagebar").find_element_by_xpath(

"div[@class='pagebtns']/input[@class='pgo']") # 跳转到按钮

tonum.clear() # 第x页 输入框

tonum.send_keys(str(x)) # 去第x页

jumpbtn.click() # 点击按钮

# 抓取

WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pagebar").find_element_by_xpath("div[@class='pagebtns']/label[@value={0} and @class='cur']".format(x)) != None)

# 保存到项目中