用requests爬取http://www.8800txt.com/txt/435021/23046123.htm
时间: 2023-10-04 08:11:14 浏览: 103
好的,以下是使用Python中的requests库爬取http://www.8800txt.com/txt/435021/23046123.htm的示例代码:
```python
import requests
url = 'http://www.8800txt.com/txt/435021/23046123.htm'
response = requests.get(url)
if response.status_code == 200:
print(response.text)
else:
print('请求失败!')
```
解释一下代码:
- 第1行:导入requests库;
- 第3行:设置要爬取的URL地址;
- 第4行:使用requests库的get()方法发送GET请求,并将响应结果保存在response对象中;
- 第6-9行:判断响应状态码是否为200(即请求成功),如果是,则打印响应内容;否则,提示请求失败。
你可以将以上代码保存为一个.py文件,然后运行它,即可看到该网页的HTML内容。
相关问题
用python语言爬取http://www.netbian.com/index_2.htm网页的图片
你可以使用Python的requests和BeautifulSoup库来爬取网页的图片。下面是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import os
# 创建保存图片的文件夹
if not os.path.exists('images'):
os.makedirs('images')
# 发起请求并获取网页内容
url = 'http://www.netbian.com/index_2.htm'
response = requests.get(url)
html = response.text
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, 'html.parser')
# 找到所有图片所在的标签
img_tags = soup.find_all('img')
# 遍历图片标签并下载图片
for img in img_tags:
img_url = img['src']
img_name = img_url.split('/')[-1]
img_path = os.path.join('images', img_name)
# 下载图片
img_data = requests.get(img_url).content
with open(img_path, 'wb') as f:
f.write(img_data)
print(f"下载图片 {img_name} 完成")
```
这段代码会在当前目录下创建一个名为`images`的文件夹,并将网页中的图片保存在该文件夹中。请确保你已经安装了requests和BeautifulSoup库,你可以使用以下命令安装它们:
```
pip install requests beautifulsoup4
```
请注意,根据网站的反爬措施,你可能需要在发送请求时添加一些额外的头部信息,以模拟浏览器的行为。
python爬取http://heucice.hrbeu.edu.cn/4041/list.htm网站
您可以使用Python中的requests和BeautifulSoup库来爬取网站信息。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'http://heucice.hrbeu.edu.cn/4041/list.htm'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
# 在这里解析网页内容并提取您需要的信息
```
您可以使用BeautifulSoup库中的各种方法(如find、findAll等)来查找和提取您需要的内容。例如,您可以使用以下代码来查找网页中的所有标题:
```python
titles = soup.findAll('span', {'class': 'Article_Title'})
for title in titles:
print(title.text)
```
请注意,在爬取网站信息时,您需要遵守相关法律法规和网站的规定,并确保不会对网站造成不必要的负担或损害。
阅读全文