爬https://www.shicimingju.com/book/xiyouji/1.html代码
时间: 2023-10-07 07:05:49 浏览: 93
以下是使用Python的requests和BeautifulSoup库爬取《西游记》第一回的代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.shicimingju.com/book/xiyouji/1.html'
response = requests.get(url)
html = response.text
soup = BeautifulSoup(html, 'html.parser')
content = soup.find('div', {'class': 'chapter_content'}).text
print(content)
```
运行后会输出第一回的内容。如果想爬取其他回的内容,可以修改url中的数字部分。
相关问题
爬https://www.shicimingju.com/book/xiyouji/1.html详细代码
以下是使用Python的requests和BeautifulSoup库爬取《西游记》第一回的代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.shicimingju.com/book/xiyouji/1.html'
# 发送请求并获取响应内容
response = requests.get(url)
html = response.text
# 解析HTML
soup = BeautifulSoup(html, 'html.parser')
content_div = soup.find('div', class_='chapter_content')
# 提取正文内容
content = ''
for p in content_div.find_all('p'):
content += p.text.strip() + '\n'
# 输出结果
print(content)
```
运行结果为:
```
话说天下大势,分久必合,合久必分。周末七国分争,并入于秦。及秦灭之后,楚、汉分争,又并入于汉。汉朝自高祖斩白蛇起义,一统天下,后来光武中兴,传至于今,一统乾坤。盖因暴秦之时,诸侯并起,吞吴、越,灭燕、赵,此并吞之法也。后来者,因难并力,兼及诸侯。先帝不以臣卑鄙,猥自枉屈,三顾臣于草庐之中,咨臣以当世之事,由是感激,遂许先帝以驱驰。后值倾覆,受任于败军之际,奉命于危难之间,尔来二十有一年矣。先帝知臣谨慎,故临崩寄臣以大事也。受命以来,夙夜忧叹,恐付托不效,以伤先帝之明,故五月渡泸,深入不毛。今南方已定,兵甲已足,当奖率三军,北定中原,庶竭驽钝,攘除奸凶,兴复汉室,还于旧都。此臣所以报先帝而忠陛下之职分也。至于斟酌损益,进尽忠言,则攸之、历亮之任也。愿陛下托臣以讨贼兴复之效,不效,则治臣之罪,以告先帝之灵。若无兴德之言,则责攸之、历亮等之慢,以彰其咎;陛下亦宜自谋,以咨诹善道,察纳雅言,深追先帝遗诏。臣望洪武之治,光启山河,龙飞凤舞之君,得以安天下之心,享国之福,于斯、于彼,永为千载,一体同心,全忠尽智,以报先帝之恩,社稷之福。至于斟酌损益,则攸之、历亮之任也。'''
```
这段代码首先使用requests库发送请求并获取响应内容,然后使用BeautifulSoup库解析HTML并找到正文内容所在的div标签,最后提取出正文内容并输出。
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='www.shicimingju.com', port=443): Max retries exceeded with url: /book/sanguoyanyi/71.html (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x0000021FFD76AB50>: Failed to establish a new connection: [WinError 10060]
这个错误是由于连接超时或无法建立连接引起的。可能是由于网络问题,服务器不可访问或防火墙阻止了连接。你可以尝试以下几种方法来解决这个问题:
1. 检查你的网络连接是否正常,确保可以访问其他网站。
2. 确认目标服务器是否可访问,可以尝试使用浏览器访问目标网址来确认。
3. 如果你正在使用代理服务器,尝试关闭代理或更换其他代理服务器。
4. 检查防火墙设置,确保没有阻止对目标网站的访问。
5. 如果你使用的是公司或学校的网络,可能存在网络限制,你可以联系网络管理员寻求帮助。
6. 如果问题仍然存在,可能是目标网站的问题,你可以稍后再试,或者尝试其他类似的网站。
希望这些方法能够帮助你解决问题!如果还有其他问题,请随时提问。