python中xpath是不是不能获取跳转页面的源代码

实际上，使用XPath可以获取跳转页面的源代码。当你使用Python的requests库发送HTTP请求时，可以通过设置allow_redirects参数为True来允许页面跳转。请求返回的响应对象response包含了跳转过程中的所有页面源代码，你可以对响应对象的content属性使用XPath进行解析。

以下是一个示例代码，使用XPath获取跳转页面的标题：

import requests
from lxml import etree

url = "http://www.baidu.com"
response = requests.get(url, allow_redirects=True)

html = etree.HTML(response.content)
title = html.xpath("//title/text()")[0]

print("跳转后页面的标题：", title)

在这个示例中，我们使用requests库发送了一个GET请求，允许页面跳转。然后使用lxml库的etree模块将响应对象的content属性转换为可解析的HTML对象。最后使用XPath获取跳转页面的标题。

相关问题

如何使用Selenium库控制浏览器打开百度和学校官网，将窗口调整至1000*800像素大小，然后返回到百度首页并获取页面源代码（page_source）？

使用Python的Selenium库来控制浏览器操作，首先需要安装selenium库以及对应的WebDriver（如ChromeDriver）。以下是步骤：

1. **安装依赖**：
- 安装selenium库：`pip install selenium`
- 下载并配置对应浏览器的WebDriver。例如，对于Chrome，从Google下载ChromeDriver，并将其添加到系统路径下。

2. **初始化浏览器**：

from selenium import webdriver

# 创建一个新的Chrome实例
driver = webdriver.Chrome()

# 设置窗口大小
driver.set_window_size(1000, 800)

3. **打开网站**：

   # 打开百度首页
   driver.get("https://www.baidu.com")

   # 打开学校官网，假设域名是'school官网地址'
   driver.get('学校官网地址')

4. **跳转回百度首页**：
如果学校官网不是百度，你需要找到返回按钮或通过JavaScript调用`window.location.href`回到百度首页。这里假设有一个全局的返回按钮，你可以这样操作：

   if '学校官网地址' in driver.current_url:
       driver.find_element_by_xpath('//a[text()="返回"]').click()
       driver.get("https://www.baidu.com")

5. **获取页面源代码**：

   page_source = driver.page_source
   print(page_source)

6. **关闭浏览器**：
当所有操作完成后，记得关闭浏览器：

   driver.quit()

注意，实际操作可能会因页面结构的不同而有所不同，比如找不到特定的元素XPATH。你可能需要查看页面源代码或者使用其他查找策略（如CSS选择器、ID等）来定位元素。此外，Selenium的行为依赖于真实的用户交互，所以可能需要适当延时。

用python的lxml、pandas、selenium编写一段代码。 以https://www.sciencedirect.com/journal/the-lancet为初始界面，等待10秒，用selenium点击该页面上的链接（class="anchor js-volume volume-issue-text anchor-default"），跳转后等待10秒，用selenium点击该页面上的链接（class="switch-check switch-small js-previews-switch"），等待10秒，获取该页面上所有文章的标题、摘要、作者。建立excel表格，将结果导入excel表格

以下是用python的lxml、pandas、selenium编写的一段代码：from selenium import webdriver
from lxml import etree
from pandas import DataFrame
import time# 初始化浏览器
browser = webdriver.Chrome()
# 打开初始界面
browser.get('https://www.sciencedirect.com/journal/the-lancet')
time.sleep(10)
# 用selenium点击链接
link1 = browser.find_element_by_css_selector('.anchor.js-volume.volume-issue-text.anchor-default')
link1.click()
time.sleep(10)
# 用selenium点击链接
link2 = browser.find_element_by_css_selector('.switch-check.switch-small.js-previews-switch')
link2.click()
time.sleep(10)
# 获取网页源代码
html = browser.page_source
# 关闭浏览器
browser.close()
# 使用lxml解析网页源代码
selector = etree.HTML(html)
# 获取文章标题
title = selector.xpath('//h2[@class="ArticleTitle"]/text()')
# 获取摘要
summary = selector.xpath('//p[@class="Para"]/text()')
# 获取作者
authors = selector.xpath('//span[@class="text-s"]/text()')
# 将结果存入excel表格
dataframe = DataFrame({'文章标题':title, '摘要':summary, '作者':authors})
dataframe.to_excel('the-lancet.xls')