Python大数据之从网页上爬取数据的方法详解

Python大数据之从网页上爬取数据的方法详解大数据之从网页上爬取数据的方法详解

主要介绍了Python大数据之从网页上爬取数据的方法,结合实例形式详细分析了Python爬虫爬取网页数据的相关

操作技巧,需要的朋友可以参考下

本文实例讲述了Python大数据之从网页上爬取数据的方法。分享给大家供大家参考，具体如下：

myspider.py ：

#!/usr/bin/python

# -*- coding:utf-8 -*-

from scrapy.spiders import Spider

'http://www.sohu.com'

]

def parse(self, response):

content = response.body.decode('utf-8')

dom = etree.HTML(content)

for ul in dom.xpath("//div[@class='focus-news-box']/div[@class='list16']/ul"):

lis = ul.xpath("./li")

for li in lis:

item = JreduItem() #定义对象

if ul.index(li) == 0:

item['title'] = la[0]

item['href'] = li.xpath("./a[last()]/href")[0]

yield item

items.py ：

# -*- coding: utf-8 -*-

# Define here the models for your scraped items

#