Python爬虫框架ScrapyITEMPIPELINE_pipelines读取不到爬虫item数据 - CSDN文库

181 浏览量更新于2023-03-03 评论收藏 41KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Python 爬虫框架爬虫框架Scrapy ITEM PIPELINE

Typical uses of item pipelines are:

cleansing HTML data

validating scraped data (checking that the items contain certain fields)

checking for duplicates (and dropping them)

storing the scraped item in a database

ITEM PIPELINE作用：

清理HTML数据

验证爬取的数据(检查item包含某些字段)

去重(并丢弃)【预防数据去重，真正去重是在url,即请求阶段做】

将爬取结果保存到数据库中

ITEM PIPELINE核心方法：

open_spider(spider)：该方法非必需，在Spider开启时被调用，主要做一些初始化操作，如连接数据库等

close_spider(spider)：该方法非必需，在Spider关闭时被调用，主要做一些如关闭数据库连接等收尾性质的工作

from_crawler(cls,crawler)：该方法非必需，Spider启用时调用，早于open_spider（）方法，是一个类方法，用

@classmethod标识，它与__init__函有关，这里我们不详解（一般我们不对它进行修改）

process_item(item,spider)：该方法必需实现，定义的Item pipeline会默认调用该方法对Item进行处理，它返回Item类型的值

或者抛出DropItem异常

官方例子：

import scrapy

import hashlib

from urllib.parse import quote

class ScreenshotPipeline(object):

"""Pipeline that uses Splash to render screenshot of

every Scrapy item."""

SPLASH_URL = "http://localhost:8050/render.png?url={}"

async def process_item(self, item, spider):

encoded_item_url = quote(item["url"])

screenshot_url = self.SPLASH_URL.format(encoded_item_url)

request = scrapy.Request(screenshot_url)

response = await spider.crawler.engine.download(request, spider)

if response.status != 200:

# Error happened, return item.

return item

# Save screenshot to file, filename will be hash of url.

url = item["url"] url_hash = hashlib.md5(url.encode("utf8")).hexdigest()

filename = "{}.png".format(url_hash)

with open(filename, "wb") as f:

f.write(response.body)

# Store filename in item.

item["screenshot_filename"] = filename

return item

注意需要修改配置文件：

ITEM_PIPELINES = {

'myproject.pipelines.PricePipeline': 300,

'myproject.pipelines.JsonWriterPipeline': 800,

}

感觉像个拦截器。

可以参考：

https://doc.scrapy.org/en/latest/topics/feed-exports.html#topics-feed-exports

https://www.cnblogs.com/518894-lu/p/9053939.html

作者：LU_ZHAO

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

评论0

weixin_38730977

粉丝: 5
资源: 875

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈