爬虫将文件路径配置到yml文件中

爬虫使用YAML (YAML Ain't Markup Language) 文件来配置文件路径是一种常见的组织和管理爬虫设置的方式。YAML 是一种轻量级的数据序列化语言，它的语法清晰，易于读写，特别适合存储配置信息。以下是配置文件路径的基本步骤：

1. 创建YML文件：创建一个名为 `settings.yml` 或类似名称的YAML文件，这是一种文本文件，可以使用文本编辑器打开。

2. 定义键值对：在文件中，你可以定义一个名为 `file_paths` 的顶级键，其下包含各种文件路径，例如 `input_folder`, `output_folder`, `log_file` 等，对应的值就是实际的文件路径，如 `"./data/input"`, `"./parsed_data"`, `"./logs"`。

   file_paths:
     input_folder: "./data/input"
     output_folder: "./data/output"
     log_file: "./logs/crawler.log"

3. 引入配置：在你的爬虫脚本中，通过Python的第三方库如`PyYAML`，加载这个YML文件并获取你需要的路径。例如，在`python`里：

   import yaml
   with open('settings.yml', 'r') as file:
       config = yaml.safe_load(file)
   input_folder_path = config['file_paths']['input_folder']

4. 使用配置：现在可以在爬虫程序中动态地使用这些文件路径，而不是硬编码。