只用XPath和request是爬取三国演义全文

使用XPath和`requests`库可以结合Python来爬取网页内容，特别是HTML结构清晰的网站。《三国演义》全文通常会分布在网页的某个区域内，XPath是一种用于提取XML和HTML文档内数据的强大语言。以下是简单的步骤：

1. **安装所需库**:
首先确保已安装`requests`库，如果还没有，可以在命令行中运行 `pip install requests`。

2. **获取网页内容**:
使用`requests.get('网址')`请求页面的HTML内容。例如，假设目标网址是`https://www.example.com/rtys`，将`example.com`替换为实际的链接。

import requests
url = "https://www.example.com/rtys"
response = requests.get(url)
html_content = response.text

3. **解析HTML内容**:
使用`lxml`或`BeautifulSoup`等库解析HTML，因为它们能很好地配合XPath。这里以`lxml`为例：

from lxml import etree

# 解析HTML内容为ElementTree对象
root = etree.fromstring(html_content)

4. **应用XPath查询**:
根据目标页面的结构，找到包含《三国演义》全文的部分。例如，如果你知道小说全名在HTML中某个id为"novel_text"的元素下，你可以这样做：

novel_xpath = '//div[@id="novel_text"]'
novel_element = root.xpath(novel_xpath)
text = novel_element[0].text_content()  # 获取文本内容

请注意，实际的XPath表达式需要根据目标页面的具体结构调整。

5. **保存或处理结果**:
最后，你可以选择将文本内容保存到本地文件，或者直接处理并输出。

with open("rtys.txt", "w") as f:
    f.write(text)

print(text)