用requests爬取http://www.8800txt.com/txt/435021/23046123.htm
时间: 2023-10-04 10:11:14 浏览: 49
好的,以下是使用Python中的requests库爬取http://www.8800txt.com/txt/435021/23046123.htm的示例代码:
```python
import requests
url = 'http://www.8800txt.com/txt/435021/23046123.htm'
response = requests.get(url)
if response.status_code == 200:
print(response.text)
else:
print('请求失败!')
```
解释一下代码:
- 第1行:导入requests库;
- 第3行:设置要爬取的URL地址;
- 第4行:使用requests库的get()方法发送GET请求,并将响应结果保存在response对象中;
- 第6-9行:判断响应状态码是否为200(即请求成功),如果是,则打印响应内容;否则,提示请求失败。
你可以将以上代码保存为一个.py文件,然后运行它,即可看到该网页的HTML内容。
相关问题
用requests爬取http://www.biqg.net/book161554/48605710.htm上的文本数据
可以使用Python中的requests库来爬取网页数据,以下是示例代码:
```python
import requests
url = 'http://www.biqg.net/book161554/48605710.htm'
response = requests.get(url)
text = response.text
print(text)
```
解释一下代码:首先定义了要爬取的网页链接,然后使用requests库的get方法来获取该页面的响应对象,再通过调用响应对象的text属性来获取该页面的文本数据。最后打印出文本数据。
需要注意的是,该网站可能有反爬机制,如果出现获取不到数据的情况,可以尝试使用代理、更换请求头等方式来绕过反爬机制。
用python语言爬取http://www.netbian.com/index_2.htm网页的图片
你可以使用Python的requests和BeautifulSoup库来爬取网页的图片。下面是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import os
# 创建保存图片的文件夹
if not os.path.exists('images'):
os.makedirs('images')
# 发起请求并获取网页内容
url = 'http://www.netbian.com/index_2.htm'
response = requests.get(url)
html = response.text
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, 'html.parser')
# 找到所有图片所在的标签
img_tags = soup.find_all('img')
# 遍历图片标签并下载图片
for img in img_tags:
img_url = img['src']
img_name = img_url.split('/')[-1]
img_path = os.path.join('images', img_name)
# 下载图片
img_data = requests.get(img_url).content
with open(img_path, 'wb') as f:
f.write(img_data)
print(f"下载图片 {img_name} 完成")
```
这段代码会在当前目录下创建一个名为`images`的文件夹,并将网页中的图片保存在该文件夹中。请确保你已经安装了requests和BeautifulSoup库,你可以使用以下命令安装它们:
```
pip install requests beautifulsoup4
```
请注意,根据网站的反爬措施,你可能需要在发送请求时添加一些额外的头部信息,以模拟浏览器的行为。