python用requests爬取数据

您可以使用Python中的`requests`库来进行网络数据爬取。以下是一个简单的示例代码：

import requests

url = "http://example.com"  # 要爬取数据的网址

# 发送GET请求获取网页内容
response = requests.get(url)

if response.status_code == 200:  # 请求成功
    html_content = response.text
    # 在这里对网页内容进行处理，例如提取需要的数据
    # ...
else:
    print("请求失败，状态码：", response.status_code)

您可以将`url`变量替换为您要爬取数据的网址。`requests.get()`函数会发送一个GET请求并返回一个`Response`对象。您可以通过`response.status_code`属性来判断请求是否成功（状态码为200表示成功）。

如果请求成功，您可以通过`response.text`属性获取网页内容，并在这里进行进一步的处理，例如提取需要的数据。

请注意，在使用requests库进行爬取时，请遵守相关网站的规则和使用条款，并避免对网站造成过大的负载或滥用。

相关问题

python用requests爬取图片

你可以使用Python中的requests库来爬取图片。下面是一个简单的示例代码，用于使用requests库下载并保存图片：

import requests

# 图片的URL地址
url = "http://example.com/image.jpg"

# 发送GET请求获取图片数据
response = requests.get(url)

# 将图片保存到本地
with open("image.jpg", "wb") as file:
    file.write(response.content)

print("图片下载完成！")

python 利用requests爬取网站数据的代码范例

以下是一个简单的 Python 爬虫代码范例，使用 requests 库爬取一个网站的数据：

import requests
from bs4 import BeautifulSoup

# 发送 GET 请求，获取网页内容
url = 'https://www.example.com'
response = requests.get(url)

# 使用 BeautifulSoup 解析 HTML
soup = BeautifulSoup(response.text, 'html.parser')

# 提取所需的数据
title = soup.title.text
content = soup.find('div', class_='content').text

# 输出结果
print('网页标题：', title)
print('网页正文：', content)

这段代码首先使用 requests 库发送 GET 请求，获取指定网站的内容。然后使用 BeautifulSoup 解析 HTML，提取出所需的数据。最后输出结果。

需要注意的是，爬取网站的过程中可能会存在反爬虫机制，需要针对不同的网站进行不同的处理，例如添加 User-Agent、延时、使用代理等。另外，爬取网站的数据可能存在版权等法律问题，请在遵守相关法律法规的前提下使用爬虫工具。