python爬4399

### 使用Python爬虫抓取4399网站数据

为了有效地从4399网站获取数据，建议遵循以下步骤：

#### 1. 遵守`robots.txt`

在开始任何爬取活动之前，应当检查目标站点的`robots.txt`文件。该文件位于网站根目录下，用于指定允许或禁止访问的具体路径[^1]。

User-agent: *
Disallow: /admin/
Allow: /

上述例子表明除`/admin/`外的所有URL均可被爬取。

#### 2. 构建Scrapy项目结构

利用Scrapy框架能够简化开发过程并提高效率。初始化一个新的Scrapy工程，并定义项目的各项组件，包括但不限于Item、Spider以及Pipeline等部分[^2]。

scrapy startproject game_spider
cd game_spider
scrapy genspider games www.4399.com

#### 3. 编写Items类

创建一个名为`items.py`的文件，在其中声明想要收集的信息字段，比如游戏名称和链接地址。

import scrapy


class GameItem(scrapy.Item):
    name = scrapy.Field()
    url = scrapy.Field()

#### 4. 修改Spiders逻辑

编辑自动生成的Spider脚本(`games.py`)，调整其行为模式以适应特定需求。这里采用XPath表达式定位HTML文档内的元素节点，进而提取有用信息[^5]。

from ..items import GameItem

def parse(self, response):
    items = []
    
    for li in response.xpath('//ul[@id="game_list"]/li'):
        item = GameItem()

        href = ''.join(li.xpath('.//a/@href').get())
        item['url'] = f'https://www.4399.com/{href}'
        
        title = ''.join(li.xpath('.//a/text()').get()).strip()
        item['name'] = title
        
        yield item

#### 5. 数据处理管道(Pipeline)

最后一步是在`pipelines.py`里加入必要的代码片段，负责接收来自Spider实例传递过来的对象，并将其持久化存储至本地磁盘或其他介质上[^3]。

import csv
from .items import GameItem

class CsvWriterPipeline(object):

    def __init__(self):
        self.file = open('output/games.csv', 'w+', newline='', encoding='utf-8')
        self.writer = csv.DictWriter(self.file, fieldnames=['name', 'url'])
        self.writer.writeheader()

    def process_item(self, item, spider):
        if isinstance(item, GameItem):
            row = dict(item)
            self.writer.writerow(row)
            
        return item
    
    def close_spider(self, spider):
        self.file.close()

确保激活此插件，即更新配置文件`settings.py`里的ITEM_PIPELINES字典项。

ITEM_PIPELINES = {
   'game_spider.pipelines.CsvWriterPipeline': 300,
}

完成以上操作之后即可运行整个程序链路，执行命令启动爬虫作业。

scrapy crawl games