scrapy框架 汇率

### 使用 Scrapy 框架爬取汇率信息

为了使用 Scrapy 框架来抓取汇率数据，可以遵循以下结构化的方法：

#### 定义项目需求
首先明确要获取哪些具体类型的汇率数据以及这些数据所在的网页位置。

#### 创建 Scrapy 项目
通过命令行创建一个新的 Scrapy 项目：

scrapy startproject exchange_rate_scraper

进入新创建的项目目录并设置目标 URL 和选择器路径用于定位页面上的汇率数值[^2]。

#### 编写 Spider 类
在 `exchange_rate_scraper/spiders` 文件夹下新建一个 Python 文件定义 spider。此文件内编写一个继承自 `scrapy.Spider` 的类，并指定起始URLs列表和解析函数。例如，如果网站提供JSON API接口，则可以直接请求API端点；如果是HTML页面则需利用XPath 或 CSS Selectors 提取所需字段。

对于 HTML 页面而言，假设汇率表位于表格标签 `<table>` 中，每行代表一种货币兑换USD的价格，那么可以在回调函数里这样操作：

import scrapy

class ExchangeRateSpider(scrapy.Spider):
    name = "exchangerates"
    
    custom_settings = {
        'ITEM_PIPELINES': {'exchange_rate_scraper.pipelines.ExchangeRatePipeline': 300},
    }

    start_urls = [
        'http://example.com/exchange-rates',  # 替换成实际网址
    ]

    def parse(self, response):
        for row in response.xpath('//table[@id="currencyTable"]/tbody/tr'):
            yield {
                'country': row.xpath('td[1]/text()').get(),
                'rate_to_usd': row.xpath('td[2]/span/text()').re(r'\d+\.\d+')[0],
            }

这里使用了 XPath 表达式匹配表格内的单元格内容，并提取出国家名称与对应的美元汇率值作为字典返回给引擎进一步处理。

#### 实现 Item Pipeline 处理逻辑
为了让采集来的数据更加整洁有序，在项目的根目录下的 `pipelines.py` 文件中添加如下代码片段以完成对 item 数据流经管道时的操作，比如清洗、验证或保存至数据库等持久化存储介质中去[^3]。

from itemadapter import ItemAdapter

class ExchangeRatePipeline:

    def process_item(self, item, spider):
        adapter = ItemAdapter(item)

        # 清洗 country 字段首尾空白字符
        raw_country_name = adapter.get('country')
        if isinstance(raw_country_name, str):
            cleaned_country_name = raw_country_name.strip()
            adapter['country'] = cleaned_country_name
        
        return item

上述实现了简单的字符串清理功能，确保最终得到干净无杂质的信息记录。

#### 配置 settings.py 参数优化性能
调整一些默认配置选项提高效率降低被封禁风险，如下载延迟时间间隔(`DOWNLOAD_DELAY`)、并发请求数量限制(`CONCURRENT_REQUESTS`)等参数设定合理范围内的值即可满足大多数情况的需求[^1]。

最后运行爬虫程序测试效果：

scrapy crawl exchangerates -o output.json

这会启动名为 `exchangerates` 的蜘蛛并将结果输出为 JSON 文件形式存放在当前工作区当中。