Python中xpath爬豆瓣

在Python中使用XPath进行网页爬取，特别是针对豆瓣这类网站，通常需要结合第三方库如`lxml`或`BeautifulSoup`。以下是一个基本步骤：

1. 安装所需的库：首先，你需要安装`requests`库来发送HTTP请求获取网页内容，以及`lxml`或`bs4`（BeautifulSoup的别名）来解析HTML。

   pip install requests lxml

2. 导入库并发送GET请求：使用`requests.get()`函数获取豆瓣页面的HTML内容。

   import requests
   url = "https://movie.douban.com/top250"
   response = requests.get(url)

3. 解析HTML：利用`lxml`或`BeautifulSoup`解析HTML文档，找到对应的XPath表达式定位到所需的数据。

   from lxml import etree

   # 使用lxml
   html_content = etree.HTML(response.text)

   # 或者使用BeautifulSoup
   soup = BeautifulSoup(response.text, 'html.parser')

4. 使用XPath选择器：根据豆瓣电影Top250页面的结构，选择想要抓取的数据元素，比如电影标题、评分等。XPath表达式可以描述节点的位置和属性。

   title_xpath = ".//div[@class='hd']/a[@class='title']"
   rating_xpath = ".//span[@class='rating_num']"

   titles = html_content.xpath(title_xpath)
   ratings = html_content.xpath(rating_xpath)

5. 数据提取：最后，将得到的结果转换为列表或其他数据结构，并处理成你想要的形式。

   titles_list = [title.text for title in titles]
   ratings_list = [float(grade.text) for grade in ratings]

6. 输出结果或存储：你可以打印出来，或者保存到文件，甚至进一步分析。

for i, title in enumerate(titles_list):
    print(f"第{i+1}位：{title} - 评分：{ratings_list[i]}")