python 使用xpath爬取下厨房菜谱数据

使用 XPath 爬取下厨房菜谱数据也是一种常见的方法。步骤如下：

1. 使用 requests 库向下厨房的菜谱搜索页面发送请求，获取 HTML 页面内容。

2. 使用 lxml 库解析 HTML 页面，创建 XPath 对象。

3. 使用 XPath 对象提取菜谱列表，以及每道菜谱的详细页面链接。

4. 遍历菜谱列表，使用提取到的详细页面链接，向每道菜谱的详细页面发送请求，获取 HTML 页面内容。

5. 使用 XPath 对象提取菜谱的详细信息，例如食材、做法等。

下面是一个简单的 Python 爬取下厨房菜谱的示例代码：

import requests
from lxml import etree

# 发送请求，获取搜索页面的 HTML 内容
url = 'https://www.xiachufang.com/search/?keyword=红烧肉'
response = requests.get(url)
html = response.text

# 解析 HTML 页面，创建 XPath 对象
selector = etree.HTML(html)

# 提取菜谱列表，以及每道菜谱的详细页面链接
recipe_list = selector.xpath('//div[@class="recipe"]')
for recipe in recipe_list:
    recipe_link = recipe.xpath('./a/@href')[0]

    # 发送请求，获取详细页面的 HTML 内容
    recipe_response = requests.get(recipe_link)
    recipe_html = recipe_response.text

    # 解析 HTML 页面，创建 XPath 对象
    recipe_selector = etree.HTML(recipe_html)

    # 提取菜谱的详细信息
    recipe_name = recipe_selector.xpath('//h1[@class="page-title"]/text()')[0]
    recipe_ingredients = recipe_selector.xpath('//div[@class="ings"]/text()')[0]
    recipe_steps = recipe_selector.xpath('//div[@class="steps"]/ol/li/p/text()')

    # 打印菜谱的详细信息
    print(recipe_name)
    print(recipe_ingredients)
    print(recipe_steps)

注意，XPath 的语法需要熟悉，可以通过 Chrome 浏览器的开发者工具，选中网页中的元素，然后右键选择 Copy -> Copy XPath，获取该元素的 XPath 表达式。同时，爬取网站内容时需要遵守网站的爬虫协议，不要过度频繁地发送请求，以免对网站造成影响。