爬虫脚本中导入yaml文件去引用路径

在爬虫脚本中，为了保持配置的灵活性和易于管理，通常会使用Python的`pyyaml`或`ruamel.yaml`等库来导入`.yaml`或`.yml`格式的配置文件，以便引用其中的路径信息。以下是一个基本的步骤：

1. 首先安装依赖库：如果你还没有安装，需要通过pip来安装`pyyaml`或者`ruamel.yaml`。例如：

   pip install pyyaml # 对于pyyaml
   pip install ruamel.yaml # 对于ruamel.yaml，它支持更好的兼容性和性能

2. 导入库并在脚本中使用：导入所需的库，比如`yaml`或`ruamel.yaml.load`。

   import yaml
   from ruamel.yaml import YAML  # 如果使用ruamel.yaml

   # 或者
   yaml = YAML()

3. 加载配置文件：指定配置文件的路径，然后使用`load`函数加载内容。

   with open('config.yaml', 'r') as file:
       config = yaml.safe_load(file)  # pyyaml
       # 或者
       config = YAML().load(file)  # ruamel.yaml

4. 访问路径：现在，你可以从`config`字典中提取路径变量，例如：

   input_dir = config['paths']['input_directory']
   output_dir = config['paths']['output_directory']

5. 使用路径：配置好的路径就可以在爬虫逻辑中使用了，比如作为文件输入、输出的位置等。